Латентность видеотракта

№161 · Видео: углублённо

Почему задержка критична

В FPV пилот управляет аппаратом по картинке из очков. Между тем, что происходит перед камерой, и тем, что видит пилот, всегда есть задержка — латентность видеотракта. Для управления это критично: пилот реагирует на устаревшую на величину задержки картинку, и чем больше задержка, тем «позже» он видит происходящее и тем труднее точно пилотировать, особенно на скорости и в трюках. Задержка в десятки миллисекунд ощущается, а в сотню — делает быстрый пилотаж почти невозможным. Поэтому в FPV за миллисекунды латентности идёт настоящая борьба.

Из чего складывается латентность

Полную задержку «от объектива до дисплея» (glass-to-glass) образует цепочка звеньев, каждое из которых добавляет своё время. Сенсор камеры экспонирует и считывает кадр. Процессор камеры обрабатывает изображение. Кодек сжимает кадр (в цифровых системах). Передатчик отправляет данные по радио. Приёмник принимает. Декодер распаковывает (в цифре). Дисплей очков выводит картинку, добавляя свою задержку вывода. Суммарная латентность — это сумма всех звеньев, и «узким местом» может стать любое из них.

Аналог против цифры

Исторически аналоговое FPV ценилось за сверхнизкую задержку: аналоговый сигнал передаётся практически мгновенно, без кодирования и декодирования, — латентность минимальна и стабильна. Цифровые системы дают несравнимо лучшую картинку (чёткость, отсутствие помех-«шумов»), но вносят задержку на кодирование, передачу пакетами и декодирование. Ранние цифровые системы заметно проигрывали аналогу по латентности; современные приблизились, но фундаментальный компромисс остаётся: цифра платит задержкой за качество. Для гонок на пределе некоторые пилоты до сих пор ценят минимальную и предсказуемую задержку, а для фристайла и съёмки чаще выбирают качество цифры.

Роль кодирования в цифре

В цифровых системах главный «регулируемый» вклад в задержку даёт кодирование/декодирование. Как отмечалось, эффективное сжатие с буферизацией (B-кадры) экономит канал, но добавляет задержку, поэтому FPV-кодеки настраивают на минимальную латентность ценой части эффективности. Разрешение и частота кадров тоже влияют: выше частота кадров — свежее картинка и меньше «шаг» задержки. Инженеры цифровых FPV-систем оптимизируют весь тракт (быстрый сенсор, лёгкое кодирование, быстрый радиопротокол, быстрый дисплей), чтобы приблизить задержку к аналоговой.

Дисплей и частота кадров

Часто недооценивают вклад дисплея очков и частоты кадров. Дисплей добавляет собственную задержку вывода, а низкая частота кадров означает, что каждая новая картинка появляется реже — это увеличивает эффективную задержку и делает движение «рваным». Высокая частота кадров (и на камере, и на дисплее) уменьшает и латентность, и дискретность движения. Поэтому для FPV важны и быстрый дисплей, и высокая частота кадров всего тракта — картинка должна не только быстро дойти, но и часто обновляться.

Как снижают латентность

Высокая частота кадров по всему тракту (камера, передача, дисплей) — свежее и чаще обновляемая картинка.
Кодек в режиме минимальной задержки (без тяжёлой буферизации) в цифровых системах.
Быстрый сенсор и минимальная обработка в камере.
Быстрый радиопротокол и быстрый вывод на дисплей очков.
Для абсолютного минимума задержки — аналоговое FPV, ценой качества картинки.

Латентность и стиль полёта

Требования к задержке зависят от стиля. Плавная съёмка и неторопливый полёт терпимы к более высокой латентности — там ценят качество картинки, и лишние миллисекунды не мешают. Гонки на пределе и агрессивный фристайл, наоборот, требуют минимальной и, что важно, стабильной задержки: пилот реагирует мгновенно, и «плавающая» латентность (то меньше, то больше) сбивает точность сильнее, чем стабильная чуть большая. Поэтому гонщики исторически ценили аналог за предсказуемо низкую задержку, а сегодня выбирают цифровые системы, оптимизированные именно под минимальную и ровную латентность, даже ценой части качества.

Не только видео

Стоит помнить, что общая задержка «реакции аппарата» складывается не только из видеотракта. К латентности видео добавляется задержка канала управления (от стика до полётного контроллера) и время отклика самого аппарата (инерция моторов и винтов). Пилот воспринимает суммарную петлю: увидел (задержка видео) — среагировал — команда дошла (задержка управления) — аппарат отработал (инерция). Оптимизируя FPV, работают над всей петлёй: быстрый видеолинк, быстрый приёмник с высокой частотой, лёгкие отзывчивые винты. Понимание, что латентность видео — лишь часть общей задержки, помогает не переоценивать один компонент и балансировать всю систему.

Итог: борьба за миллисекунды

Латентность видео — критический для FPV параметр, потому что пилот управляет по «прошлому» кадру, и каждая лишняя миллисекунда снижает точность, особенно на скорости. Задержка складывается из всей цепочки — сенсор, обработка, кодирование, передача, декодирование, дисплей, — и минимизируется по всему тракту: высокая частота кадров, кодек в режиме низкой задержки, быстрые сенсор, радиолинк и экран. Аналог даёт минимум задержки ценой качества, современная цифра приближается к нему, сохраняя отличную картинку. Помня, что видео — лишь часть общей петли реакции (плюс управление и инерция), систему балансируют целиком, а не гонятся за одним компонентом.

Восприятие задержки пилотом

Интересно, что чувствительность к латентности индивидуальна и тренируема. Опытные гонщики замечают разницу в считаные миллисекунды и предпочитают системы с минимальной задержкой, тогда как новичок на тех же настройках разницы почти не ощутит. При этом мозг частично адаптируется к постоянной задержке, «вынося поправку» на неё, — но только если задержка стабильна. Нестабильная, «плавающая» латентность адаптации не поддаётся и сбивает точнее всего. Поэтому в проектировании FPV-систем важна не только малая, но и ровная задержка: предсказуемость тракта ценится наравне с его скоростью, ведь именно к предсказуемой задержке пилот способен приспособиться.

Итог

Латентность видеотракта — сумма задержек всех звеньев от сенсора камеры до дисплея очков, и для FPV она критична, потому что пилот управляет по «устаревшей» картинке. Аналог даёт минимальную задержку ценой качества, цифра — отличную картинку ценой задержки на кодирование и передачу, которую современные системы старательно минимизируют. Снижают латентность высокой частотой кадров по всему тракту, кодеком в режиме низкой задержки, быстрыми сенсором, радиолинком и дисплеем. Понимание, из чего складывается задержка, объясняет и разницу аналог/цифра, и то, почему в FPV борются буквально за миллисекунды.