Как получить информацию о ширине и высоте в кодовом потоке SPS H264?
Как получить информацию о ширине и высоте в кодовом потоке SPS H264?

Предисловие

Друзья, разбирающиеся в формате кодирования видео H264, знают, что в кодировании H264 есть два очень важных набора параметров. Да, это набор параметров последовательности (SPS) и набор параметров изображения (PPS), и обычно PPS опирается на некоторую информацию о параметрах в SPS. В то же время информация о ширине и высоте видеопотока также хранится в SPS. . Итак, как получить информацию о ширине и высоте видео, это основное содержание сегодняшней статьи.

текст

1. Структура СПС

При декодировании потока кода H264 обязательно будут использоваться соответствующие параметры в SPS. Поэтому нам очень важно понимать значение параметров. Среди них формат SPS, указанный в стандартном протоколе H.264 (раздел 7.3.2.1.1 документа), показан на рисунке ниже:

Далее давайте представим некоторые параметры на рисунке выше.

(1) profile_idc

Идентифицирует профиль текущего потока кода H.264. Мы знаем, что H.264 определяет три часто используемых профиля:

Базовый профиль: базовый профиль;

Основной профиль: основной профиль;

Расширенный профиль: расширенный профиль;

В H.264 SPS первый байт представляет Profile_idc. По значению Profile_idc можно определить, какому классу соответствует поток кода. Правила судейства следующие:

profile_idc = 66 → baseline profile;

profile_idc = 77 → main profile;

profile_idc = 88 → extended profile;

В новую версию стандарта также входят High, High 10, High 4:2:2, High 4:4:4, High 10 Intra, High.

4:2:2 Intra, High 4:4:4 Intra, CAVLC 4:4:4 Intra и т. д., каждый из которых представлен различным профилем_idc.

Кроме того, ограничение_set0_flag ~ ограничение_set5_flag — это другие дополнительные ограничительные условия, добавленные к потоку кода с точки зрения уровня кодирования.

(2) level_idc

Определяет уровень текущего потока кода. Уровень кодирования определяет такие параметры, как максимальное разрешение видео и максимальная частота кадров видео при определенных условиях. Уровень, которому следует кодовый поток, определяется параметром level_idc.

В текущем потоке кода level_idc = 0x1e = 30, поэтому уровень потока кода равен 3.

(3) seq_parameter_set_id

Указывает идентификатор текущего набора параметров последовательности. Посредством этого значения идентификатора набор параметров изображения pps может ссылаться на параметры в sps, которые он представляет.

(4) log2_max_frame_num_minus4

Значение, используемое для вычисления MaxFrameNum. Формула расчета следующая:

MaxFrameNum = 2^(log2_max_frame_num_minus4 + 4)

MaxFrameNum — это верхний предел параметраframe_num, который является методом представления серийного номера изображения. Он часто используется как средство маркировки опорного кадра при межкадровом кодировании.

(5) pic_order_cnt_type

Представляет метод подсчета порядка декодирования изображений (POC). POC — это еще один способ измерения серийных номеров изображений, и его метод расчета отличается от метода Frame_num. Значение этого элемента синтаксиса равно 0, 1 или 2.

(6) log2_max_pic_order_cnt_lsb_minus4

Используется для расчета значения MaxPicOrderCntLsb, которое представляет собой верхний предел POC. Формула расчета следующая:

MaxPicOrderCntLsb = 2^(log2_max_pic_order_cnt_lsb_minus4 + 4)

(7) max_num_ref_frames

Используется для представления максимального количества опорных кадров.

(8) gaps_in_frame_num_value_allowed_flag

Бит флага, указывающий, разрешены ли прерывистые значения в Frame_num.

(9) pic_width_in_mbs_minus1

Используемая для расчета ширины изображения единица измерения — количество макроблоков.

(10) pic_height_in_map_units_minus1

Используйте PicHeightInMapUnits для измерения высоты изображения в видео. PicHeightInMapUnits не является чистой высотой изображения в единицах пикселей или макроблоках, но необходимо учитывать, кодируется ли макроблок кадром или кодированием поля.

(11) frame_mbs_only_flag

Идентификационный бит, указывающий метод кодирования макроблока. Когда бит флага равен 0, макроблок может кодироваться кадром или кодироваться полем; когда бит флага равен 1, все макроблоки кодируются кадром; В зависимости от значения бита флага значение PicHeightInMapUnits также различается. Когда он равен 0, он указывает высоту одного кадра данных, рассчитанных в макроблоках, а когда он равен 1, он указывает высоту одного кадра. данные рассчитываются в макроблоках.

Метод расчета фактической высоты изображения FrameHeightInMbs, рассчитанной по макроблоку:

FrameHeightInMbs = ( 2 − frame_mbs_only_flag ) * PicHeightInMapUnits

(12) mb_adaptive_frame_field_flag

Бит флага, указывающий, используется ли адаптивное кодирование поля кадра на уровне макроблока. Когда бит флага равен 0, переключение между кодированием кадра и кодированием поля отсутствует; когда бит флага равен 1, макроблок может выбирать между режимами кодирования кадра и кодирования поля.

(13) direct_8x8_inference_flag

Идентификационный бит, используемый для получения и расчета векторов движения в режимах B_Skip и B_Direct.

(14) frame_cropping_flag

Бит флага, указывающий, нужно ли обрезать кадр выходного изображения.

(15) vui_parameters_present_flag

Бит идентификации, указывающий, существует ли информация VUI в SPS.

2. Место хранения СПС

В потоке кода H264 в качестве начального кода используется «0x00 0x00 0x01» или «0x00 0x00 0x00 0x01». После нахождения начального кода используйте младшие 5 бит первого байта после начального кода, чтобы определить, равен ли он 7. , который является идентификацией типа SPS, псевдокод выглядит следующим образом:

data[3] & 0x1f == 7 data[4] & 0x1f == 7

Для H264 SPS — это первый кадр после кодирования. Если это читаемый файл H264, это данные между первым разделителем кадра и вторым разделителем кадра. Общая длина равна 4.

3. Как рассчитать информацию о ширине и высоте

Общая формула для расчета ширины и высоты видео на основе информации SPS выглядит следующим образом:

Язык кода:javascript
копировать
width = (pic_width_in_mbs_minus1+1)*16;
height = (pic_height_in_map_units_minus1+1)*16;
Язык кода:javascript
копировать

Но это для случая, когда ширина и высота являются целым числом, кратным 16. Если ширина и высота не являются целым числом, кратным 16, значениеframe_cropping_flag равно 1, аframe_mbs_only_flag равно 1. Формула выглядит следующим образом: (Это может также можно считать единой формулой)

Язык кода:javascript
копировать
width = ((pic_width_in_mbs_minus1 +1)*16) - frame_crop_left_offset*2 - frame_crop_right_offset*2;
height= ((2 - frame_mbs_only_flag)* (pic_height_in_map_units_minus1 +1) * 16) - \
(frame_crop_top_offset * 2) - (frame_crop_bottom_offset * 2);

4. Пример анализа

Например, информация SPS видео 1080P выглядит следующим образом:

pic_width_in_mbs_minus1 : 119 pic_height_in_map_units_minus1 : 67 frame_mbs_only_flag : 1 mb_adaptive_frame_field_flag : 0 direct_8x8_inference_flag : 1 frame_cropping_flag : 1 frame_crop_left_offset : 0 frame_crop_right_offset : 0 frame_crop_top_offset : 0 frame_crop_bottom_offset : 4

По единой формуле, приведенной выше, результаты расчета следующие:

width = (119+1) * 18 - 0*2 - 0*2 = 1920 height = (2-1) * (67+1)*16 - 0*2 - 4*2 = 1088 - 8 = 1080

Код выглядит следующим образом:

Язык кода:javascript
копировать
    // Формула расчета ширины и высоты
    width  = (sps->pic_width_in_mbs_minus1+1) * 16;
    height = (2 - sps->frame_mbs_only_flag) * (sps->pic_height_in_map_units_minus1 +1) * 16);

    if (sps->frame_cropping_flag)
    {
        unsigned int crop_unit_x;
        unsigned int crop_unit_y;
        if (0 == sps->chroma_format_idc) // monochrome
        {
            crop_unit_x = 1;
            crop_unit_y = 2 - sps->frame_mbs_only_flag;
        }
        else if (1 == sps->chroma_format_idc) // 4:2:0
        {
            crop_unit_x = 2;
            crop_unit_y = 2 * (2 - sps->frame_mbs_only_flag);
        }
        else if (2 == sps->chroma_format_idc) // 4:2:2
        {
            crop_unit_x = 2;
            crop_unit_y = 2 - sps->frame_mbs_only_flag;
        }
        else // 3 == sps.chroma_format_idc   // 4:4:4
        {
            crop_unit_x = 1;
            crop_unit_y = 2 - sps->frame_mbs_only_flag;
        }
        
        width  -= crop_unit_x * (sps->frame_crop_left_offset + sps->frame_crop_right_offset);
        height -= crop_unit_y * (sps->frame_crop_top_offset  + sps->frame_crop_bottom_offset);
    }

Об авторе: 😄 Привет всем, я Data-Mining (liuzhen007). Я типичный энтузиаст аудио- и видеотехнологий. Я работал в традиционных радио- и телевизионных гигантах, а также в аудио- и видео-интернет-компаниях. прямая трансляция видео и по запросу. Очень глубокие знания WebRTC, FFmpeg и Electron.

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.