Декодировано — подкаст о видеоинженерии

Между квантованием и энтропийным кодером прячется стадия, о которой почти не говорят, — но без неё биты, сэкономленные на квантовании, так и не превратятся в маленький файл. После квантования от блока остаётся почти пустая таблица коэффициентов: несколько ненулевых значений в углу и десятки нулей. Кодек читает её в хитром порядке — зигзагом по диагоналям, — чтобы согнать все нули в один хвост, а затем заменяет этот хвост одним символом «дальше всё ноль». Именно здесь блок с двумя ненулевыми коэффициентами умещается в пару десятков бит, и именно здесь кроется одна из причин, по которым файл HEVC при том же качестве меньше файла H.264. Восемнадцатый выпуск «Декодировано» показывает, как двумерная таблица превращается в компактную цепочку символов — и как это делают MPEG-2, H.264, HEVC, AV1 и VVC.

В выпуске:

— зачем двумерную таблицу коэффициентов вообще превращают в одномерный поток и как порядок сканирования влияет на число бит, нужных для блока;

— классический зигзаг для блоков 4×4 и 8×8: почему обход по диагоналям идёт вдоль линий равной частоты и собирает нули в один длинный хвост;

— пары «серия–уровень» и метка конца блока (EOB): как почти пустой блок сворачивается в горстку символов, а DC-коэффициент кодируется отдельно через разность с соседом;

— почему HEVC отказался от единого зигзага в пользу диагонального обхода подблоков 4×4, явной позиции последнего ненулевого коэффициента и флага пропуска пустых подблоков;

— как AV1 заводит отдельную таблицу обхода под каждую форму преобразования и кодирует коэффициенты в обратную сторону — ради лучшего контекста для энтропийного кодера;

— тонкости VVC: связь обхода с зависимым квантованием и сокрытие знака, экономящее по биту на подблок;

— сравнение стадии сканирования и кодирования длин серий в MPEG-2, H.264, HEVC, AV1 и VVC — и чем этот незаметный этап связан с квантованием и энтропийным кодированием.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Когда стриминговый сервис вдвое снижает битрейт, экономия почти целиком берётся не от нового кодека и не от хитрого алгоритма, а от одной невидимой операции — более грубого квантования. Это единственная стадия кодека, где качество теряется намеренно, и одновременно главный рычаг, которым инженер управляет и размером файла, и видимыми артефактами. Причём весь этот рычаг — одно маленькое целое число, QP. Понимая его, можно читать логи FFmpeg, заранее сказать, будет ли картинка чистой или «рассыплется» на блоки, и осознанно настроить энкодер под конкретную задачу — от упаковки VOD до прямого эфира. Семнадцатый выпуск «Декодировано» разбирает, как из округления коэффициентов рождается сжатие с потерями и почему любое решение «снизить битрейт» — это на самом деле «поднять QP».

В выпуске:

— почему квантование — единственная стадия кодека, где информация теряется безвозвратно, и как деление коэффициентов на шаг с округлением превращается в экономию бит;

— параметр QP и шаг квантования: правило «шаг удваивается каждые шесть единиц QP», удобное приближение и четыре опорные точки качества (QP 23, 28, 33, 38);

— мёртвая зона (dead zone): почему малые коэффициенты выгодно намеренно сваливать в ноль, а межкадровые блоки квантовать агрессивнее внутрикадровых;

— матрицы квантования и психовизуальная настройка: точность туда, где её видит глаз, и грубее — на высоких частотах и на цветности (chroma QP offset);

— адаптивное квантование (AQ), MB-tree и psy-rd: как кодер перебрасывает биты с ровного неба на лица и текст при том же среднем QP;

— связь QP ↔ битрейт ↔ воспринимаемое качество: режимы CRF, CBR и VBR как разные политики выбора QP;

— зачем крупные сервисы кодируют даже SDR в 10 бит: меньше бандинга и на 5–12 % плотнее сжатие при том же качестве;

— различия квантования в H.264, HEVC, VP9, AV1 и VVC и зависимое квантование (dependent quantization) VVC как единственная за поколения смена самого механизма.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Каждое новое поколение кодеков роняет битрейт примерно вдвое — и большая часть этой экономии рождается на одной незаметной стадии. Преобразование само по себе не сжимает данные и ничего не теряет: оно лишь переписывает остаток от предсказания так, что почти вся энергия блока собирается в несколько чисел, а остальные становятся близкими к нулю. Именно эта концентрация энергии и позволяет следующей стадии — квантованию — безболезненно выбросить лишнее. Понимая преобразование, инженер может прочитать спецификацию кодека и задать правильные вопросы: какие размеры блоков преобразования, какие типы, есть ли вторичное. Шестнадцатый выпуск «Декодировано» объясняет, почему выгоднее описывать блок как сумму волновых узоров, а не пиксель за пикселем, и как это устроено в H.264, HEVC, AV1 и VVC.

В выпуске:

— зачем переходить в частотную область: преобразование переписывает остаток в коэффициенты и собирает энергию в левый верхний угол таблицы — концентрация энергии (energy compaction);

— почему преобразование обратимо и само по себе ничего не сжимает, а собственно потеря качества происходит уже при квантовании;

— дискретное косинусное преобразование (DCT): интуиция «аккорд нотами, а не тысячами замеров давления», DC- и AC-коэффициенты и почему выбраны именно косинусы (близость к оптимальному KLT);

— целочисленные преобразования в H.264 и HEVC: как замена дробного DCT убрала дрейф обратного преобразования и «призраки» на длинных сценах;

— семейство преобразований: DCT-II и DCT-VIII, DST/ADST, FLIPADST и тождественное преобразование — какой остаток каким узором описывать;

— стадия преобразования в H.264, HEVC, AV1 и VVC и что нового приносит AV2.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Почти всё сжатие видео держится на одной идее: соседние кадры почти одинаковы, поэтому передавать каждый заново незачем. Межкадровое предсказание описывает блок не пикселями, а короткой инструкцией — «возьми участок из соседнего кадра, сдвинь его вот сюда и добавь небольшой остаток» — и именно оно превращает неподъёмный несжатый поток в несколько мегабит. Тяжёлый поиск берёт на себя кодер, а декодер лишь копирует по вектору: эта асимметрия и делает возможными дешёвый стриминг на миллионы устройств, видеозвонки в реальном времени и живые трансляции. Пятнадцатый выпуск «Декодировано» разбирает, как кодек находит движение, чем P-кадры отличаются от B-кадров и какими инструментами современные кодеки догоняют движение, которое не описать одним вектором.

В выпуске:

— как межкадровое предсказание заменяет описание блока вектором движения и небольшим остатком и почему это главный источник сжатия видео;

— P- и B-кадры: предсказание по прошлым кадрам против предсказания по прошлым и будущим сразу, соотношение веса I : P : B ≈ 4 : 2 : 1 и почему при низкой задержке B-кадры отключают;

— зачем кодеку буфер из нескольких опорных кадров (H.264 — до 16, AV1 — 7, VVC — до 15) и почему лишние опоры чаще покупают время кодирования, а не качество;

— оценка движения: область поиска, мера сходства SAD и шаблоны поиска — полный перебор, ромбовидный, гексагональный, UMH — и почему на этот поиск уходит 60–80 % времени кодирования;

— субпиксельная интерполяция (½, ¼, ⅛ пикселя): почему уточнение вектора до долей пикселя окупается экономией бит на остатке;

— предсказание вектора движения, merge- и skip-режимы — как кодек почти перестаёт тратить биты на сами векторы;

— компенсация движения и продвинутые инструменты: взвешенное предсказание для затемнений, аффинное и глобальное движение, OBMC, составное предсказание и уточнение вектора оптическим потоком на стороне декодера (BDOF/DMVR).

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Каждый видеопоток начинается с ключевого кадра, и к нему же плеер возвращается при перемотке и переключении качества — а значит, именно ключевые кадры задают пики битрейта и вес всей раскадровки-превью. Сжимает их внутрикадровое предсказание: кодер не хранит пиксели блока, а угадывает их по уже декодированным соседям сверху и слева и передаёт лишь короткий номер режима и небольшой остаток. Тот же механизм лежит в основе монтажных кодеков ProRes и DNxHR и включается на каждой смене сцены. Четырнадцатый выпуск «Декодировано» разбирает, как устроена эта догадка — от трёх базовых семейств режимов до матриц, обученных на данных, — и почему за двадцать лет число режимов выросло с 9 до почти 70, а отдача от каждого нового всё равно падает.

В выпуске:

— как кодер предсказывает блок по уже декодированным соседям сверху и слева и почему ту же догадку способен повторить декодер — поэтому по сети идут только номер режима и небольшой остаток;

— три семейства режимов: DC (заливка средним значением соседей), планарное (гладкий наклон) и угловые (копирование опорных пикселей вдоль направления) — и для какого контента подходит каждое;

— эволюция числа режимов яркости: 9 (H.264) → 35 (HEVC) → 61 (AV1) → 67 (VVC) → режимы, обученные на данных (AV2), — и почему рост даёт всё меньшую отдачу;

— список наиболее вероятных режимов (MPM): как кодек удешевляет передачу номера выбранного режима, ведь сигнализация съедает 8–12 % битов I-кадра;

— как предсказание превращает блок в остаток, близкий к нулю, и почему это удешевляет преобразование, квантование и энтропийное кодирование;

— современные инструменты: матричное предсказание (MIP), предсказание цветности по яркости (CfL/CCLM, ≈14 % битрейта цветности), а также палитровый режим и внутрикадровое копирование блоков для экранного контента;

— почему внутрикадровое предсказание работает не только в I-кадрах, но и в любом блоке P- и B-кадра, для которого не нашлось хорошего совпадения в соседних кадрах.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Размер блока — самый частый параметр, который инженер по доставке трогает в кодере: именно здесь решается компромисс «скорость против сжатия», от которого напрямую зависят счёт за облачное кодирование и бюджет задержки прямого эфира. За этим стоит пространственная структура кадра: кодек накладывает на картинку сетку и решает, где положить одну большую «плитку», а где раздробить её на мелкие. Тринадцатый выпуск «Декодировано» разбирает, как устроено это разбиение — от макроблока 16×16 в H.264 до суперблока 128×128 в AV1 и деревьев разбиения VVC — и почему современный кодер по сути поисковая машина, перебирающая миллионы вариантов деления в секунду.

В выпуске:

— зачем кодек разбивает кадр на блоки и почему блок — атомарная единица всей обработки: одно предсказание, один остаток, одно компактное описание в потоке;

— верхний уровень разбиения у каждого поколения: макроблок 16×16 (H.264), CTU 64×64 и 128×128 (HEVC, VVC), суперблок 64×64 и 128×128 (VP9, AV1) — одна и та же роль под разными именами;

— почему каждое поколение увеличивало стартовый блок: один вектор движения и крошечный остаток вместо шестнадцати повторов (кадр 4K — это 32 400 макроблоков H.264 против ~510 суперблоков AV1);

— деревья разбиения и как их читать: квадродерево HEVC, квадродерево с многотиповым и тернарным делением (QT+MTT) в VVC, десятипутёвое дерево AV1;

— почему крупные блоки экономят биты на гладких участках и почему этот выигрыш растёт с разрешением (4K, 8K);

— слайсы, тайлы и волновые фронты: три механизма параллелизма и как выбрать нужный под задачу;

— почему глубина разбиения напрямую бьёт по скорости кодирования и почему кодер — это поисковая машина (RDO, ранний обрыв поиска).

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Одна настройка кодера способна одновременно сломать перемотку, переключение качества в адаптивном стриминге и задержку прямого эфира — это длина GOP. Именно её инженер по доставке трогает чаще всех остальных. За ней стоит временная структура видеопотока: расписание, по которому кодек расставляет кадры трёх типов и заполняет промежутки между ними. Двенадцатый выпуск «Декодировано» разбирает эту структуру по косточкам — что такое I-, P- и B-кадры, что такое группа изображений и почему длина GOP разом управляет размером файла, скоростью перемотки, чистотой переключения битрейта и задержкой эфира. Поняв GOP, вы за пять секунд прочитаете чужую лестницу битрейтов и заметите рассинхрон.

В выпуске:

— три типа кадров — I, P и B: почему I-кадр самодостаточен, P-кадр копирует из прошлого, а B-кадр самый экономный по битам, но самый дорогой по задержке (и почему отказ от B-кадров в прямом эфире поднимает битрейт примерно на 46 % при том же качестве);

— группа изображений (GOP): почему это наименьший самостоятельный фрагмент видеопотока и из чего он состоит;

— порядок показа против порядка декодирования: откуда берётся задержка переупорядочивания и почему нельзя терять метки времени кадров;

— ключевой кадр IDR против обычного I-кадра: почему каждый сегмент HLS и DASH обязан начинаться с IDR (и чем от него отличаются CRA в HEVC и GDR в VVC);

— открытая и закрытая GOP: почему адаптивный стриминг требует закрытой;

— чересстрочная и прогрессивная развёртка: почему современный конвейер деинтерлейсит источник перед кодированием;

— как выбрать длину GOP под задачу — видео по запросу, прямой эфир, видеозвонок, вещание — и обосновать выбор числами.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Настроить энкодер, прочитать его документацию, понять, почему CBR и CRF ведут себя по-разному и почему один поток лучше держит движение, — всё это опирается на одну и ту же схему. Она называется гибридной архитектурой кодека, и это буквально сердце всего видеосжатия: H.264, HEVC, VP9, AV1, VVC — внутри одна и та же машина, меняется лишь наполнение блоков. Одиннадцатый выпуск «Декодировано» разбирает эту машину по косточкам: проходит по блок-схеме кодера шаг за шагом и объясняет, почему архитектуру называют гибридной, зачем кодер запускает внутри себя декодер и чем стандарт отличается от конкретного кодера. Увидев эту схему один раз, вы получите опору, на которую ложатся все остальные темы, — и любую документацию энкодера станете читать осмысленно.

В выпуске:

— почему архитектуру называют гибридной: предсказание убирает корреляцию между отсчётами, а преобразование — корреляцию внутри остатка предсказания;

— блок-схема кодера шаг за шагом: разбиение на блоки, предсказание (внутри- и межкадровое), вычитание остатка, преобразование, квантование, энтропийное кодирование;

— петля реконструкции: зачем кодер держит внутри себя декодер и что сломается, если убрать эту петлю;

— почему квантование — единственный шаг, где теряется качество, и почему «обратное квантование» не восстанавливает утраченные данные;

— блок-схема декодера: почему он проще и быстрее кодера и почему эта асимметрия заложена намеренно — кодирование на сервере, воспроизведение на дешёвом устройстве;

— одна схема на всех: H.264, HEVC, AV1 и VVC используют одну базовую архитектуру и различаются лишь насыщенностью блоков;

— архитектура против стандарта: почему стандартизуют только декодер и синтаксис битстрима и почему два кодера одного стандарта дают разные файлы (x264 — это не то же самое, что H.264).

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

«Переходим на AV1». «CDN берёт дороже за HEVC». «Этот браузер не декодирует VVC». За каждой такой фразой на реальном проекте стоит сорокалетняя история — и почти никогда выбор кодека не сводится к тому, какой из них «технически лучше». Десятый выпуск «Декодировано» выстраивает все видеокодеки в один ряд — от H.120 (1984) до AV2 (2026) — и показывает, что судьбу кодека решают три силы: эффективность сжатия, охват железа и — чаще всего решающе — патенты и лицензии. Разберётесь в этой истории — и любую новость про кодеки будете читать как инженер: видеть, почему H.264 двадцать лет спустя всё ещё повсюду, почему технически превосходный кодек может проиграть открытый веб и сколько кодек-лестниц реально стоит поддерживать.

В выпуске:

— поколенческое правило: почему каждое новое поколение кодеков примерно вдвое снижает битрейт при той же картинке — и почему оно работает уже сорок лет без «волшебных» новых идей;

— таймлайн от H.120 (1984) до AV2 (2026): для каждого кодека — год, орган стандартизации и место в истории (H.261, MPEG-2, H.264, HEVC, VP9, AV1, VVC, AV2);

— почему H.264, технически давно устаревший, в 2026 году всё ещё самый распространённый кодек (около 79% поставщиков видео) — и почему новый кодек не заменяет старый, а добавляется поверх;

— три лагеря стандартизации: ITU-T VCEG (телеком), ISO/IEC MPEG (бытовая электроника) и AOMedia (открытый веб) — и что выходит, когда первые два работают вместе, а когда порознь;

— патентные пулы и лицензирование: как один предсказуемый пул вывел H.264 в лидеры, а три пула плюс независимые правообладатели едва не похоронили HEVC и толкнули веб к royalty-free AV1;

— почему VVC (2020) технически превзошёл HEVC, но повторил его лицензионную модель и проиграл борьбу за открытый веб;

— что на самом деле стандартизуется в кодеке (только декодер и синтаксис битстрима) и почему x264 ≠ H.264;

— исторические параллели: аналоговые NTSC / PAL / SECAM и лестница оптических дисков CD → DVD → Blu-ray — каждая волна в ногу со своим поколением кодека.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Любой кодек — от H.264 в вашем браузере до AV1 на YouTube — делает по сути одно: находит в видео то, что можно не передавать. За всем зоопарком форматов, пресетов и аббревиатур стоит одна карта из четырёх пунктов. Разберётесь в ней — и любой кодек перестанет быть чёрным ящиком: вы будете видеть, какую именно избыточность убирает каждая настройка и в каком месте цепочки теряется качество. Девятый выпуск «Декодировано» — та самая карта, на которую опирается вся вторая половина книги.

В выпуске:

— единственная задача кодека: не передавать то, что можно восстановить или чего зритель всё равно не заметит;

— пространственная избыточность и внутрикадровое предсказание: почему соседние пиксели похожи (около половины всей избыточности картинки) и как блок ровного неба сжимается почти до нулей;

— временна́я избыточность и межкадровое предсказание — главный источник сжатия видео: передаём не кадр, а разницу с соседним плюс вектор движения, и правило весов кадров I : P : B ≈ 4 : 2 : 1;

— психовизуальная избыточность, квантование и цветовая субдискретизация 4:2:0: единственный шаг, где качество теряется необратимо, и почему биты берегут в первую очередь на лицах;

— статистическая избыточность и энтропийное кодирование: почему это последний и самый малый множитель (около 2:1), хотя без него не обойтись;

— «карта всего кодека»: как четыре идеи выстраиваются в единый конвейер предсказание → преобразование → квантование → энтропийное кодирование;

— сквозной разбор клипа foreman: откуда берётся сжатие примерно в 120 раз и какой вклад даёт каждый вид избыточности;

— почему новый кодек экономит не за счёт «пятой волшебной идеи», а за счёт более полного устранения тех же четырёх (HEVC — около 50% к H.264, AV1 — ещё около 30% к HEVC).

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/