[Искусственный интеллект] Конвейер Трансформеров (10): видеоклассификация (видео-классификация)
[Искусственный интеллект] Конвейер Трансформеров (10): видеоклассификация (видео-классификация)

1. Введение

Pipeline (конвейер) — это минималистичный способ использования абстракции рассуждений больших моделей в библиотеке преобразователей Huggingface. Все большие модели делятся на аудио (Audio), компьютерное зрение (Computer Vision), обработку естественного языка (NLP), мультимодальные (Multimodal). ) и другие 4 большие категории, а также 28 малых категорий задач (задач). Охватывает в общей сложности 320 000 моделей.

Сегодня я представляю шестую статью о компьютерном зрении CV: классификация видео (видео-классификация). В библиотеке HuggingFace имеется 1100 моделей классификации видео.

2. Классификация видео (видео-классификация)

2.1 Обзор

Классификация видео — это задача присвоения меток или категорий всем видео. Предполагается, что каждое видео будет иметь только одну категорию. Модели классификации видео принимают видео в качестве входных данных и возвращают прогноз о том, к какой категории принадлежит видео.

2.2 Технические принципы

Наиболее типичной моделью классификации видео (видео-классификации) является серия xclip от Microsoft. Xclip является расширением модели клипа и использует (видео-текст) сравнительное обучение и обучение. Microsoft предоставляет модели, обученные с использованием различных разрешений блоков, включая microsoft/xclip-base-patch32, microsoft/xclip-base-patch16 и т. д. Например, microsoft/xclip-base-patch32, размер разрешения блока — 32, и используется каждое видео. 8 Кадры обучаются с разрешением 224x224。Подробные документы можно найти в《Expanding Language-Image Pretrained Models for General Video Recognition》

2.3 Сценарии применения

  • Проверка и фильтрация контента. Автоматически идентифицируйте видеоконтент, фильтруйте незаконный, жестокий и контент для взрослых, чтобы обеспечить соответствие платформе.
  • Поиск видео. Пользователи могут быстро находить интересующие видео с помощью тегов классификации, что повышает эффективность поиска.
  • Образование и обучение: классифицируйте обучающие видео по темам, сложности и т. д., чтобы облегчить учащимся систематическое обучение.
  • Развлечения и прямые трансляции. Управляйте контентом прямых трансляций по категориям, например игры, музыка, жизнь и т. д., чтобы зрителям было проще выбирать, что посмотреть.
  • Анализ спортивных событий: быстро находите конкретные типы игр или анализ выступлений спортсменов посредством классификации.

2.4 параметры трубопровода

2.4.1 Параметры создания объекта конвейера

  • modelPreTrainedModelилиTFPreTrainedModel)— Модель, которую конвейер будет использовать для прогнозирования. для PyTorch,Это требуетPreTrainedModelнаследовать;для TensorFlow,Это требуетУнаследовано от TFPreTrainedModel.
  • image_processor ( BaseImageProcessor ) — Процессор изображений, который конвейер будет использовать для кодирования данных для Модели. Этот объект наследуется от BaseImageProcessor
  • modelcardstrилиModelCard,Необязательный) — Карты моделей, принадлежащие этому конвейеру Модель.
  • frameworkstr,Необязательный)— структура для использования,"pt"适用于 PyTorch или"tf"TensorFlow。Указанный фреймворк должен быть установлен。
  • taskstr,По умолчанию"")— Идентификатор задачи конвейера.
  • num_workersint,Необязательный,По умолчанию 8)— 当管道将使用DataLoader(При передаче набора данных,существовать Pytorch Модель的 GPU выше), количество рабочих, которые будут использоваться.
  • batch_sizeint,Необязательный,По умолчанию 1)— 当管道将使用DataLoader(При передаче набора данных,Когда на графическом процессоре модели Pytorch,Размер используемой партии,для рассуждений,Это не всегда выгодно,Пожалуйста, прочитайтеИспользование конвейеров для пакетной обработки
  • args_parserArgumentHandler,Необязательный) - Ссылка на объект, ответственный за анализ предоставленных параметров конвейера.
  • deviceint,Необязательный,По умолчанию -1)— CPU/GPU Серийный номер поддерживаемого устройства. установите его на -1 будет использовать ЦП, установка положительного числа приведет к соответствующему CUDA оборудование ID беги дальше Модель。Вы можете передать роднойtorch.deviceилиstrслишком
  • torch_dtypestrилиtorch.dtype,Необязательный) - Отправить напрямуюmodel_kwargs(Просто более простой ярлык)использовать это Модельдоступная точность(torch.float16,,torch.bfloat16...или"auto"
  • binary_outputbool,Необязательный,По умолчаниюFalse)——Флаг, указывающий, должен ли вывод канала быть в сериализованном формате.(Прямо сейчас рассол) или необработанные выходные данные (например, текст).
2.4.2 Параметры использования объекта конвейера

  • videostr,List[str])——Pipeline обрабатывает три типа видео:
    • Содержит ссылку на видео http связанная строка
    • Строка, содержащая локальный путь к видео.

    Конвейер может принимать одно видео или пакет видео, которые затем необходимо передать в виде строки. Все видеоролики должны быть в одном формате: все http-ссылки или все локальные пути.

  • top_kint,Необязательный,По умолчанию 5) — количество верхних меток, которые вернет конвейер. Если предоставленное количество превышает количество тегов, доступных в конфигурации модели.,по умолчанию будет указано количество тегов.
  • num_framesint,Необязательный,По умолчаниюself.model.config.num_frames)— Количество кадров, выбранных из видео, используемых для классификации. Если не указано, по умолчанию используется количество кадров, указанное в конфигурации модели.
  • frame_sampling_rate ( int,Необязательный,По умолчанию 1) — Частота дискретизации, используемая для выбора кадров из видео. Если не указано, по умолчанию используется 1, каждый кадр будет использован.

2.4 конвейер, реальный бой

Используйте hf_hub_download для загрузки или использования местных видео:

Я лично проверял, что конвейер использовать нельзя, поэтому использовал метод модели Auto. В отличие от использования Autotokenizer для обработки текста, для обработки изображений я использовал AutoImageProcessor (суть обработки видео заключается в том, чтобы сначала разбить видео на картинки, а затем обработать фотографии)

Язык кода:javascript
копировать
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

import av
import torch
import numpy as np

from transformers import AutoImageProcessor, VideoMAEForVideoClassification,TimesformerForVideoClassification
from huggingface_hub import hf_hub_download

np.random.seed(0)

def read_video_pyav(container, indices):
    '''
    Декодируйте определенные кадры видео с помощью библиотеки PyAV.
    Decode the video with PyAV decoder.
    Args:
        container (`av.container.input.InputContainer`): PyAV container.
        indices (`List[int]`): List of frame indices to decode.
    Returns:
        result (np.ndarray): np array of decoded frames of shape (num_frames, height, width, 3).
    '''
    frames = []
    container.seek(0)
    start_index = indices[0]
    end_index = indices[-1]
    for i, frame in enumerate(container.decode(video=0)):
        if i > end_index:
            break
        if i >= start_index and i in indices:
            frames.append(frame)
    return np.stack([x.to_ndarray(format="rgb24") for x in frames])


def sample_frame_indices(clip_len, frame_sample_rate, seg_len):
    '''
    Индекс кадров, выбранных из видео по определенным правилам.
    Sample a given number of frame indices from the video.
    Args:
        clip_len (`int`): Total number of frames to sample.
        frame_sample_rate (`int`): Sample every n-th frame.
        seg_len (`int`): Maximum allowed index of sample's last frame.
    Returns:
        indices (`List[int]`): List of sampled frame indices
    '''
    converted_len = int(clip_len * frame_sample_rate)
    end_idx = np.random.randint(converted_len, seg_len)
    start_idx = end_idx - converted_len
    indices = np.linspace(start_idx, end_idx, num=clip_len)
    indices = np.clip(indices, start_idx, end_idx - 1).astype(np.int64)
    return indices


# video clip consists of 300 frames (10 seconds at 30 FPS)
file_path = "./transformers_basketball.avi"
"""
file_path = hf_hub_download(
    repo_id="nielsr/video-demo", filename="eating_spaghetti.mp4", repo_type="dataset"
)
"""
container = av.open(file_path)

# sample 16 frames
indices = sample_frame_indices(clip_len=16, frame_sample_rate=1, seg_len=container.streams.video[0].frames)
video = read_video_pyav(container, indices)

image_processor = AutoImageProcessor.from_pretrained("MCG-NJU/videomae-base-finetuned-kinetics")
#model = VideoMAEForVideoClassification.from_pretrained("MCG-NJU/videomae-base-finetuned-kinetics")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-base-finetuned-k400")

inputs = image_processor(list(video), return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# model predicts one of the 400 Kinetics-400 classes
predicted_label = logits.argmax(-1).item()
print(model.config.id2label[predicted_label])

После выполнения автоматически загружайте файлы модели, стройте индексы, разделяйте кадры и прогнозируйте классификацию видео:​

2.5 Рейтинг моделей

На Huggingface мы сортируем модели видеоклассификации (классификации видео) от высокой к низкой по объему загрузки. Топ-10 моделей в основном состоят из xclip от Microsoft, videomae от Нанкинского университета, Timesformer от Facebook и Vivit Model.

3. Резюме

В этой статье представлена ​​видеоклассификация (видеоклассификация) конвейера трансформаторов с точки зрения обзора, технических принципов, параметров конвейера, практики работы с конвейерами, ранжирования моделей и т. д. Читатели могут использовать минималистичный код для развертывания классификации видео в компьютерном зрении. на модели конвейера (классификации видео), применяемой к сценариям дискриминации видео.

boy illustration
Учебное пособие по Jetpack Compose для начинающих, базовые элементы управления и макет
boy illustration
Код js веб-страницы, фон частицы, код спецэффектов
boy illustration
【новый! Суперподробное】Полное руководство по свойствам компонентов Figma.
boy illustration
🎉Обязательно к прочтению новичкам: полное руководство по написанию мини-программ WeChat с использованием программного обеспечения Cursor.
boy illustration
[Забавный проект Docker] VoceChat — еще одно приложение для мгновенного чата (IM)! Может быть встроен в любую веб-страницу!
boy illustration
Как реализовать переход по странице в HTML (html переходит на указанную страницу)
boy illustration
Как решить проблему зависания и низкой скорости при установке зависимостей с помощью npm. Существуют ли доступные источники npm, которые могут решить эту проблему?
boy illustration
Серия From Zero to Fun: Uni-App WeChat Payment Practice WeChat авторизует вход в систему и украшает страницу заказа, создает интерфейс заказа и инициирует запрос заказа
boy illustration
Серия uni-app: uni.navigateЧтобы передать скачок значения
boy illustration
Апплет WeChat настраивает верхнюю панель навигации и адаптируется к различным моделям.
boy illustration
JS-время конвертации
boy illustration
Обеспечьте бесперебойную работу ChromeDriver 125: советы по решению проблемы chromedriver.exe не найдены
boy illustration
Поле комментария, щелчок мышью, специальные эффекты, js-код
boy illustration
Объект массива перемещения объекта JS
boy illustration
Как открыть разрешение на позиционирование апплета WeChat_Как использовать WeChat для определения местонахождения друзей
boy illustration
Я даю вам два набора из 18 простых в использовании фонов холста Power BI, так что вам больше не придется возиться с цветами!
boy illustration
Получить текущее время в js_Как динамически отображать дату и время в js
boy illustration
Вам необходимо изучить сочетания клавиш vsCode для форматирования и организации кода, чтобы вам больше не приходилось настраивать формат вручную.
boy illustration
У ChatGPT большое обновление. Всего за 45 минут пресс-конференция показывает, что OpenAI сделал еще один шаг вперед.
boy illustration
Copilot облачной разработки — упрощение разработки
boy illustration
Микросборка xChatGPT с низким кодом, создание апплета чат-бота с искусственным интеллектом за пять шагов
boy illustration
CUDA Out of Memory: идеальное решение проблемы нехватки памяти CUDA
boy illustration
Анализ кластеризации отдельных ячеек, который должен освоить каждый&MarkerгенетическийВизуализация
boy illustration
vLLM: мощный инструмент для ускорения вывода ИИ
boy illustration
CodeGeeX: мощный инструмент генерации кода искусственного интеллекта, который можно использовать бесплатно в дополнение к второму пилоту.
boy illustration
Машинное обучение Реальный бой LightGBM + настройка параметров случайного поиска: точность 96,67%
boy illustration
Бесшовная интеграция, мгновенный интеллект [1]: платформа больших моделей Dify-LLM, интеграция без кодирования и встраивание в сторонние системы, более 42 тысяч звезд, чтобы стать свидетелями эксклюзивных интеллектуальных решений.
boy illustration
LM Studio для создания локальных больших моделей
boy illustration
Как определить количество слоев и нейронов скрытых слоев нейронной сети?
boy illustration
[Отслеживание целей] Подробное объяснение ByteTrack и детали кода