Самой основной и важной задачей предварительной обработки для задач понимания видео является извлечение кадров изображения. Поскольку в задачах понимания видео видео можно рассматривать как состоящее из серии непрерывных кадров изображения. Поэтому, чтобы понять и проанализировать видео, нам сначала нужно извлечь из видео изображения каждого кадра.

Извлечение кадров изображения лежит в основе задач распознавания видео, поскольку последующая обработка и анализ основаны на отдельных кадрах изображения. Каждый кадр представляет собой определенный момент времени в видео и содержит богатую визуальную информацию.

На основе извлеченных кадров изображения можно выполнять различные задачи по распознаванию видео, такие как распознавание поведения, обнаружение действий, отслеживание целей, оценка позы и т. д. Конкретная реализация и методы этих задач будут различаться в зависимости от требований и областей задач, но извлечение кадров изображения является их общей отправной точкой и основой.

Таким образом, извлечение кадров изображения из видео является самой основной и важной задачей предварительной обработки в задачах понимания видео. Оно обеспечивает основу ключевых данных для последующего понимания и анализа видео. Итак, в этой статье будут представлены некоторые часто используемые инструменты.

FFmpeg

FFmpeg — это инструмент обработки мультимедиа с открытым исходным кодом, который поддерживает несколько видеоформатов и кодеков. FFmpeg — наиболее часто используемый и лучший инструмент для работы с видео. Он может не только извлекать кадры изображений и конвертировать форматы, но также загружать видео m3u8, поэтому он может выполнять практически всю обработку видео.

Здесь мы представляем только команды для извлечения кадров изображения. Ниже приведены основные команды для извлечения видеокадров с использованием FFmpeg:

 ffmpeg -i input_video.mp4 -vf "select='eq(n,0)'" -vsync 0 output_frame.png

Функции каждой части приведенной выше команды следующие:

• ffmpeg：командная строкаинструментимя。
• -i input_video.mp4：Укажите вводвидео Путь к файлу и имя файла。
• -vf "select='eq(n,0)'"：обозначениевидеофильтр。В этом примере,использовалselectФильтр для выбора кадров,eq(n,0)Указывает, что выбран только первый кадр。
• -vsync 0：Отключить синхронизацию частоты кадров,Убедитесь, что все кадры извлечены.
• output_frame.png：обозначение Имя файла и формат выходного изображения.。

Используйте приведенную выше команду, чтобы извлечь первый кадр видео.,и сохранить какPNGформатировать файлы изображений。Вы можете использовать командуeq(n,0)Частично модифицировано под другие условия,для извлечения разных кадров,Например, извлечь все кадры, извлечь кадры по временному интервалу и т. д.

В дополнение к методу командной строки вы также можете использовать API FFmpeg для извлечения видеокадров на языке программирования. FFmpeg предоставляет интерфейсы на различных языках программирования, таких как C/C++, Python, Java и т. д., и вы можете выбрать подходящий интерфейс для разработки в соответствии с вашими потребностями.

OpenCV

Хотя OpenCV не разработан специально для обработки видео, будучи ветераном визуальной библиотеки, он также предоставляет богатые функции обработки изображений и видео, поэтому библиотека OpenCV также может извлекать кадры изображений.

Код для извлечения видеокадров с помощью OpenCV выглядит следующим образом:

 import cv2
 
 # Открыть видеофайл
 video = cv2.VideoCapture('input_video.mp4')
 
 # Проверьте, успешно ли открылось видео
 if not video.isOpened():
     print("Не могущий Открыть видеофайл")
     exit()
 
 frame_count = 0  # счетчик кадров
 
 while True:
     # Читать кадр видео
     ret, frame = video.read()
 
     # Если чтение видеокадра не удалось, выйдите из цикла
     if not ret:
         break
 
     # Здесь обрабатываются видеокадры, такие как предварительная обработка, сохранение и т. д.
 
     # Показать текущий кадр
     cv2.imshow("Frame", frame)
 
     # нажимать 'q' ключ для выхода из цикла
     if cv2.waitKey(1) & 0xFF == ord('q'):
         break
 
     frame_count += 1
 
 # Освободите видеообъект и закройте окно.
 video.release()
 cv2.destroyAllWindows()

Код поясняется ниже:

• cv2.VideoCapture('input_video.mp4')：проходитьVideoCaptureдобрый Открыть видеофайл。нужноinput_video.mp4Замените кадром, который хотите извлечь.видео Путь к файлу и имя файла。
• video.isOpened()：Проверьте, успешно ли открылось видео。
• video.read()：читатьвидеоследующий кадр。retэто логическое значение,Указывает, было ли оно успешнымчитатьобрамлять；frameэто данные изображения текущего кадра。
• В разделе комментариев кода вы можете предварительно обработать, сохранить или выполнить другие операции над считанными кадрами в соответствии с вашими потребностями.
• cv2.imshow("Frame", frame)：Показать текущий кадр。Здесь мы просто отображаем рамку,Вы также можете выполнить другую обработку в соответствии с вашими потребностями.
• cv2.waitKey(1) & 0xFF == ord('q')：Мониторинг ввода с клавиатуры,еслинажимать 'q' ключ для выхода из цикла.
• video.release()：выпускатьвидеообъект。
• cv2.destroyAllWindows()：Закрыть окно дисплея。

В приведенном выше примере каждый кадр считывается и отображается. Кадры могут быть сохранены или другие операции обработки могут быть выполнены в соответствующем месте, или код может быть изменен для извлечения конкретных кадров в соответствии с потребностями, например, по временным интервалам, ключевым кадрам и т. д.

Если вам нравится работать в программе или интегрировать в нее некоторые операции, связанные с видео, OpenCV удобнее и проще в использовании, чем FFmpeg.

Другие инструменты

Помимо использования FFmpeg и OpenCV, существуют другие методы и инструменты, которые можно использовать для извлечения видеокадров. Вот некоторые часто используемые методы и инструменты:

1. Libav：Libavэтодобрыйпохоже наFFmpegбиблиотека обработки мультимедиа с открытым исходным кодом,Может использоваться для извлечения кадров видео. Он предоставляет инструмент командной строки и интерфейс API.,Доступен широкий выбор языков программирования.
2. Библиотека MoviePy для Python：MoviePyэто длявидеоотредактированоPythonБиблиотека,Это позволяет легко извлекать и обрабатывать кадры. Он построен на FFmpeg.,И обеспечивает простой в использовании интерфейс,Подходит для быстрого прототипирования и небольших проектов.
3. GStreamer：GStreamerЭто мощная платформа обработки мультимедиа.,извлечение видеокадров можно выполнять на разных платформах. Он поддерживает несколько языков программирования и операционных систем.,И предоставляет широкий спектр плагинов и инструментов.
4. медиаплеер VLC：VLCПопулярный медиаплеер с открытым исходным кодом.,Он также предоставляет функцию извлечения видеокадров. Через интерфейс командной строки VLC или API,Вы можете реализовать извлечение и обработку видеокадров.
5. MATLAB：MATLABЭто мощное программное обеспечение для научных вычислений и обработки изображений.,Он предоставляет богатые функции и инструменты для извлечения и обработки видеокадров. Программирование через MATLAB,Вы можете писать сценарии для извлечения видеокадров и выполнения соответствующих операций по обработке изображений.

Независимо от того, какой метод вы выберете, основной принцип извлечения видеокадров один и тот же: читайте видео, декодируйте его покадрово, а затем соответствующим образом обрабатывайте каждый кадр.