«2.1.1 История развития кодирования аудио и видео» в книге «Практика разработки FFmpeg: от нулевых основ к короткому видео в Интернете» представляет серию стандартов кодирования видео H.26x, среди которых H.264 до сих пор широко используется. Независимо от того, видеофайлы это или прямые трансляции в Интернете, стандарт H.264 занимает значительную долю рынка.

Причина, по которой H.264 добился большого успеха, заключается в том, что он предлагает новую концепцию и делит стандартную структуру на два уровня, а именно уровень кодирования видео (VCL) и уровень сетевой абстракции (уровень сетевой абстракции, называемый NAL). , также называемый уровнем сетевого извлечения). Уровень кодирования видео фокусируется на том, как эффективно выразить содержимое данных видео, в то время как уровень сетевой абстракции отвечает за форматирование данных и предоставление информации заголовка, чтобы видеоконтент мог адаптироваться к передаче данных в различных средах. Каждый видеокадр содержит по меньшей мере один блок NAL. Для I-кадров и P-кадров, поскольку имеется много внутренних данных, их можно разделить на несколько блоков NAL. Первый блок NAL каждого кадра начинается со стартового кода 0x00000001, указывая, что отсюда начинается новый кадр, начиная со второго блока NAL, последующие блоки NAL начинаются с 0x000001, указывая, что последующие данные являются продолжением предыдущего блока NAL; . Один байт после начального кода представляет тип текущего кадра. Существует шесть распространенных типов кадров: 0x67, значение типа 7, представляет собой кадр SPS, указывающий набор параметров последовательности. 0x68, значение типа 8, это кадр PPS, обозначающий набор параметров изображения. 0x65, значение типа — 5, что является кадром IDR, то есть изображением IDR, также называемым ключевым кадром. 0x41, значение типа 1, представляет собой SLICE-фрагментацию, указывающую P-кадр. 0x01, значение типа 1, представляет собой SLICE-фрагментацию, указывающую B-кадр. 0x06, значение типа 6, представляет собой кадр SEI, указывающий вспомогательную информацию расширения. Среди вышеупомянутых шести типов NAL первые три являются существенными и подробно описаны ниже.

1. Каркас СПС

Полное название SPS — Набор параметров последовательности, который на китайском языке называется набором параметров последовательности. SPS сохраняет характеристики видеоконтента, включая высоту видео, ширину видео, частоту кадров и т. д. Подробный формат SPS указан в стандартном протоколе H.264 (раздел 7.3.2.1 документа. Значения каждого внутреннего поля показаны на рисунке ниже).

Согласно определению поля SPS, формула расчета ширины и высоты видео выглядит следующим образом:

width = ((pic_width_in_mbs_minus1 +1)*16) - frame_crop_left_offset*2 - frame_crop_right_offset*2;
height= ((2 - frame_mbs_only_flag) * (pic_height_in_map_units_minus1 +1) * 16) - (frame_crop_top_offset * 2) - (frame_crop_bottom_offset * 2);

Если ширина видео и высота видео являются целыми числами, кратными 16, все четыре значения полейframe_crop_left_offset,frame_crop_right_offset,frame_crop_top_offset иframe_crop_bottom_offset равны 0, а значение поляframe_mbs_only_flag равно 1. В настоящее время формула расчета ширины и высоты видео упрощается следующим образом:

width = (pic_width_in_mbs_minus1+1)*16;
height = (pic_height_in_map_units_minus1+1)*16;

Помимо ширины и высоты видео, частоту кадров видео также можно рассчитать с помощью внутренних полей SPS. Формула расчета частоты кадров выглядит следующим образом:

fps = time_scale / num_units_in_tick;

2. Рамка ППС

Полное название PPS — «Набор параметров изображения», который на китайском языке называется «набор параметров изображения». PPS хранит параметры кодирования видеокадров, включая режим энтропийного кодирования, тип сегментации слайсов, начальные параметры квантования, параметры квантования цветности и т. д. Подробный формат PPS указан в стандартном протоколе H.264 (раздел 7.3.2.2 документа. Значения каждого внутреннего поля показаны на рисунке ниже).

3. Структура РДЭ

Полное название IDR — мгновенное обновление декодирования, что на китайском языке называется «немедленное обновление декодирования». РДЭ должен быть I-фреймом, но I-фрейм не обязательно является IDR. Как только возникает IDR, это означает очистку предыдущей последовательности и немедленную визуализацию текущего кадра IDR. В начале каждого потока H.264 будет такая последовательность: кадр SPS → кадр PPS → кадр IDR → остальная часть SLICE, причем кадры SPS, PPS и IDR должны появляться в сочетании, и они необходимы If. один отсутствует. Любой из этих кадров приведет к последующим аномалиям декодирования видеопотока.

более подробныйFFmpegИнформацию о разработке см.《Практика разработки FFmpeg: от нуля до короткого видео онлайн》книга。