Декодировано — подкаст о видеоинженерии

Проверять билет у зрителя перед каждым глотком воды — безумие, но именно так выглядит наивная защита платного эфира с токеном на каждом сегменте. Origin — самый маленький и незаменимый узел платформы, и беречь его приходится с трёх сторон: пускать к контенту только своих зрителей, к origin — только свою CDN и переживать отказ железа посреди трансляции. Тридцать четвёртый выпуск — об этих трёх задачах.

В выпуске:

— почему персональный токен в адресе каждого сегмента превращает один сегмент в сто тысяч копий в кеше и обрушивает на origin десятки тысяч запросов в секунду;

— подписанная cookie и подпись на манифесте: доступ проверяют один раз «на входе в зал», а адреса сегментов остаются общими для всех зрителей;

— origin cloaking как первый слой защиты — и как реальный адрес origin утекает через забытые тестовые поддомены, старые записи DNS и сертификаты;

— allow-лист IP и его пределы: адрес можно подделать или арендовать сервер по соседству, поэтому третьим слоем ставят mTLS с клиентским сертификатом CDN;

— health checks по свежести сегментов, а не по живости процесса: как поймать энкодер-«зомби», который бодро транслирует чёрный экран;

— почему привычные 30-секундные таймауты губят живой эфир: failover должен укладываться в длительность сегмента, пока CDN прикрывает окно из кеша.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Восьмого июня 2021 года одна конфигурационная правка в сети Fastly примерно на час уронила Reddit, Spotify и The New York Times, а видеоплатформы, раздававшие только через Fastly, в этот час не показывали ничего. Один CDN — это одна точка отказа, и к 2026 году раздача через несколько сетей стала нормой проектирования крупной платформы. Выпуск разбирает multi-CDN и то, как плеер переезжает на здоровую сеть раньше, чем зритель увидит колесо загрузки.

В выпуске:

— почему один CDN — точка отказа, которую не закрывает даже самый дорогой премиальный тариф: он спасает от медленной деградации, но не от полного падения;

— четыре причины держать несколько CDN: производительность, отказоустойчивость, цена (арбитраж трафика) и переговорная позиция;

— три поколения диспетчера трафика: DNS с реакцией в минуты из-за TTL, подмена адресов в манифесте на сервере и content steering на клиенте;

— как работает content steering: плеер получает от steering-сервера короткий JSON со списком приоритетных путей и сам переключается на резервный CDN;

— цепочка отказа «ошибки 5xx → падение пропускной способности → опустошение буфера → ре-буферизация» и как CMCD и RUM ловят её на первом звене;

— главное условие бесшовного переезда: сегмент и ключ кеша должны совпадать на всех CDN байт в байт.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Первая мысль о том, почему концерт на сто тысяч зрителей не плавит серверы, — железо «размером со стадион». Но кривую архитектуру деньгами не спасти: судьбу origin решают три рычага кеш-иерархии, и каждый тихо определяет, увидит ли он десять запросов в секунду или пятьдесят тысяч. Выпуск разбирает origin shield, ключ кеша и инвалидацию — и ошибки в них, которые обходятся дороже всего.

В выпуске:

— origin shield как единственный ярус между региональными кешами и origin: забирает сегмент один раз и схлопывает поток к origin до ≈ 10 запросов в секунду;

— почему shield ставят рядом с origin, а не со зрителем: его задача — защитить источник и провести промах по магистрали CDN, а не через публичный интернет;

— ключ кеша: как токен доступа или даже рекламная UTM-метка в URL дробит общий сегмент на копии и обваливает CHR до нуля;

— нормализация ключа до host + path и авторизация вне ключа — подписанной cookie или заголовком, с проверкой на манифесте, а не на каждом сегменте;

— Cache-Control по типу объекта: срок жизни в год для неизменяемых сегментов и короткий TTL для живого манифеста;

— почему глобальный purge сам устраивает эффект стада, чем его заменяет версионирование URL и как soft purge по тегу подменяет объект в фоне.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Сто тысяч зрителей на средних 5 Мбит/с — это 500 Гбит/с отдачи каждую секунду, и ни один сервер такое не вытянет. Финалы чемпионатов и концерты смотрят без буферизации благодаря сети доставки контента, устроенной для видео глубже, чем для обычного сайта. Тридцать первый выпуск разбирает CDN глазами инженера стриминга: зачем живому эфиру пять ярусов кеша и почему всё крутится вокруг одной метрики — доли попаданий в кеш.

В выпуске:

— иерархия стримингового CDN — origin → shield → региональный кеш → edge → зритель — и почему обычному сайту хватает одного слоя кеша на краю сети;

— эффект стада (thundering herd): каждые 4 секунды появляется новый сегмент, и все зрители приходят за ним в одну и ту же секунду;

— склейка запросов: тысячи одновременных промахов на edge уходят вверх одним запросом, а сегмент раздаётся зрителям ещё до конца загрузки с origin;

— доля попаданий в кеш (CHR): здоровые 95–99 % на edge и почему падение с 95 до 90 % вдвое увеличивает нагрузку на origin;

— сессионный токен в ключе кеша: как он дробит кеш на персональные копии и обрушивает на origin десятки тысяч запросов в секунду вместо десяти;

— главный парадокс масштаба: ≈ 50 000 запросов/с сжимаются до ≈ 10 у origin, потому что origin видит число сегментов, а не число зрителей.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Превью под ползунком, отмотка гола в прямом эфире, французская дорожка и субтитры для глухих кажутся мелочами — пока не ломаются, и тогда зритель уходит, а продукт получает юридические претензии. Тридцатый выпуск разбирает, как упаковщик и плеер собирают эти функции поверх основного потока: трюк-плей и миниатюры, окно DVR, субтитры и мультиаудио — и почему доступность проверяют не по наличию дорожки, а по её пометке в манифесте.

В выпуске:

— почему перемотка приземляется на ближайший опорный кадр и её точность равна шагу опорных кадров — при обычной нарезке это длительность сегмента;

— трюк-плей: ускоренная перемотка по отдельному потоку только из опорных кадров и миниатюры под ползунком из отдельной дорожки-спрайта;

— DVR-окно живой трансляции: сервер перестаёт удалять старые сегменты, а в DASH глубину окна задаёт timeShiftBufferDepth;

— хранить дёшево, отдавать дорого: отмотка на час назад бьёт в холодный сегмент мимо кеша, а live-to-VOD по EXT-X-ENDLIST возвращает обычное кеширование;

— субтитры и мультиаудио: WebVTT для веба, IMSC1 для премиальной типографики и шесть атрибутов дорожки — от языка и принудительного показа до аудиодескрипции;

— доступность как закон: ADA, CVAA и Европейский акт о доступности проверяют пометку дорожки, и почему перевод нельзя выдать за субтитры для глухих.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Энкодер выдал лестницу битрейтов, а плеер умеет читать только сегменты и манифест — между ними работает упаковщик, и замечают его, только когда он сломан. Двадцать девятый выпуск заглядывает в этот тихий «логистический цех» стриминга: что именно делает упаковщик, где кончается его ответственность и как выбрать между упаковкой заранее и упаковкой на лету, когда на кону счёт за диски и процессоры.

В выпуске:

— граница упаковки: упаковщик не сжимает видео и не выдаёт лицензии DRM — он готовит к доставке уже закодированные биты;

— три работы упаковщика: нарезать лестницу на сегменты, написать плейлист HLS и манифест DASH над одним набором CMAF, зашифровать по схеме cbcs;

— выравнивание сегментов между ступенями: каждый начинается с опорного кадра на общей границе, иначе ABR-переключение даёт рывок;

— Shaka Packager, Bento4 и облачные сервисы — и почему шифрование AES-128 в FFmpeg не заменяет студийный DRM;

— статическая упаковка против упаковки на лету (JIT): весь каталог во всех форматах на диске против сборки по запросу — смена обёртки, а не перекодирование;

— почему JIT-origin обязан стоять за shield-кешем, который схлопывает дубли запросов, и почему на массовом live с низкой задержкой это не спасает.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Два плеера с одной и той же лестницей на одном и том же канале могут дать зрителю совершенно разный опыт — всё решает правило, по которому выбирается следующая ступень. Двадцать восьмой выпуск разбирает алгоритмы ABR: как плеер взвешивает скорость канала и запас буфера, почему каждый из этих приборов по отдельности подводит и почему нейросетевые подходы так и не вытеснили гибридные эвристики из продакшена.

В выпуске:

— задача ABR через QoE: качество за вычетом штрафов за переключения и ре-буферизацию и почему секунда паузы стирает выигрыш целого сегмента в высшем качестве;

— throughput-based: выбор по измеренной скорости скачивания и нисходящая спираль, когда лёгкие сегменты нижней ступени обманывают замер;

— buffer-based: ступень по запасу секунд в буфере, опыт Netflix с ре-буферизациями на 10–20 % реже и главная плата — запоздалая реакция на обрыв;

— гибриды вроде MPC: прогноз на несколько шагов вперёд сразу по скорости и по буферу — то, что реально живёт в плеерах;

— нейросетевой ABR на примере Pensieve: блестящие результаты в симуляторе и полевой эксперимент Puffer, где обученные схемы не обошли простые;

— разрыв «симулятор против реальности»: почему нейросетям доверяют разве что прогноз канала, а решение остаётся за классическими алгоритмами.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Лестницу битрейтов считают один раз, а качают по ней миллионы раз, поэтому лишний мегабит на ступени превращается в горы трафика, а недостающий — в квадраты на экране. Двадцать седьмой выпуск прослеживает, как стриминг прошёл путь от одной таблицы «разрешение — битрейт» на весь каталог к своей лестнице для каждого фильма и каждой сцены — и где такая точность перестаёт окупаться.

В выпуске:

— классическая фиксированная лестница до 2015 года: один набор ступеней на весь каталог — лишние биты на простом контенте и блоки на взрывах, воде и зерне;

— per-title и выпуклая оболочка: пробные кодировки, кривые «качество — битрейт» и метрика VMAF, по которой выбирают ступени;

— выигрыш на примерах Netflix: BoJack Horseman в 1080p за 1540 кбит/с там, где раньше был 480p, и Orange is the New Black с битрейтом на 20 % ниже;

— per-shot и Dynamic Optimizer (2018): биты уходят от статичных сцен к сложным, вход в 4K падает с 8 до 3,2 Мбит/с, ре-буферизаций — более чем на 65 % меньше;

— формула окупаемости: почему перебор кодировок оправдан для популярного VOD, а живой эфир остаётся на фиксированной лестнице;

— предсказание оболочки моделью: лестница Mux за миллисекунды с отставанием 0,3 балла VMAF — и почему сам VMAF можно накрутить резкостью.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Когда картинка на пару секунд становится мыльной, первым делом ругают провайдера, хотя на деле плеер только что спас просмотр от остановки. Этот механизм — адаптивный битрейт, и на нём держится вся HTTP-доставка, от сериалов в дороге до трансляций на миллионы зрителей. Выпуск, открывающий блок об ABR, на простой арифметике показывает, почему фиксированный битрейт в публичном интернете обречён и почему решение о качестве живёт в плеере, а не на сервере.

В выпуске:

— зачем нужен ABR: канал в публичном интернете непостоянен, и мыльная картинка на пару секунд — защита от остановки, а не баг;

— арифметика фиксированного битрейта: поток 4,5 Мбит/с на канале, просевшем до 2 Мбит/с, опустошает восьмисекундный буфер примерно за 14 с;

— почему низкий битрейт для всех — тоже не выход и как старт дольше 2 секунд увеличивает уход зрителей;

— лестница битрейтов: несколько заранее закодированных версий с шагом ×1,5–2, нарезанных по общей сетке для бесшовного переключения;

— почему решение о качестве принимает плеер, а не сервер: CDN раздаёт статические файлы и не хранит состояние зрителя;

— просадка 6 → 2 Мбит/с на практике: плеер сам спускается на 480p на границе сегмента, а сосед на быстром канале остаётся на 1080p.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/

Когда отдельные протоколы разобраны, остаётся главный практический вопрос: что из этого ставить в свой продукт. Двадцать пятый выпуск развенчивает поиск «идеального протокола»: онлайн-аукционы и интерактивные концерты живут на гибридных стеках, а выбор доставки — это сборка слоёв под задачу. Разбираем, почему массовую аудиторию всегда держит HTTP, как пройти дерево выбора по шести осям и чем приходится платить за гибрид.

В выпуске:

— почему «HLS или WebRTC?» — ложная развилка и зрелый продукт живёт не на одном протоколе, а на стеке из нескольких;

— гибрид «субсекундное ядро + HTTP-хвост»: активные участники и ставки на WebRTC, пассивные зрители на LL-HLS с отставанием в пару секунд;

— почему массу держит HTTP: CDN раздаёт кешированные копии, а чистый WebRTC на 100 000 зрителей дороже в 5–20 раз;

— дерево выбора сверху вниз по шести осям: задержка → аудитория → устройства → реклама → DRM → бюджет;

— решающая ось продукта на примере телемедицины: двусторонняя связь без пауз сразу ведёт к чистому WebRTC;

— цена гибрида — швы по времени, ключам шифрования и рекламе между слоями, и MoQ как пилот в параллель к основному стеку.

«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии». Второй сезон — о стриминге, по книге «Видеостриминг».

Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/