Исследователи из лаборатории X-LANCE Шанхайского университета Цзяо Тонг и AISpeech совместно запустили усовершенствованную систему генерации видео под названием AniTalker. Эта технология позволяет пользователям конвертировать один статический портрет и вводить аудио в реалистичное анимированное видео разговора, что значительно повышает качество и эффективность создания анимированного видео.

AniTalker использует ряд инновационных технологий, включая обучение с самоконтролем, обучение универсальному представлению движения, технологию разделения личности и движения и т. д. Эти технологии работают вместе, чтобы позволить платформе точно фиксировать и воспроизводить сложную динамику человеческого лица, такую ​​​​как тонкие изменения выражения и движения головы. Кроме того, AniTalker сочетает в себе модель диффузии и адаптер отклонений, что не только снижает зависимость от размеченных данных, но также генерирует разнообразную и легко управляемую анимацию лица с эффектами, сравнимыми с ведущими отраслевыми технологиями, такими как Alibaba EMO и Tencent AniPortrait.

Основные функции AniTalker включают в себя: анимацию статических портретов, синхронизацию звука, захват движения лица, создание разнообразной анимации, управление анимацией лица в реальном времени, создание голосовой анимации и непрерывное создание длинных видеороликов. С помощью этих функций пользователи могут конвертировать любое статичное изображение лица в динамическое видео, способное изменять диалоги и выражения, добиваясь естественных и плавных аудиовизуальных эффектов.

Технология также охватывает обучение представлению движения, обучение универсального кодировщика движения с помощью метода самоконтролируемого обучения. Этот процесс включает в себя выбор исходного и целевого изображений из видео и изучение информации о движении путем реконструкции целевого изображения. Чтобы гарантировать, что представление движения не содержит информации, специфичной для личности, AniTalker использует методы обучения метрики и минимизации взаимной информации.

AniTalker имеет широкий спектр сценариев применения, включая виртуальных помощников и обслуживание клиентов, производство фильмов и видео, разработку игр, видеоконференции, социальные сети и вещание новостей. Например, при постобработке фильма AniTalker можно использовать для создания или редактирования мимики и движений актера, особенно в сценах, где исходное исполнение невозможно запечатлеть. Кроме того, разработчики игр могут использовать эту технологию для создания реалистичной анимации лиц игровых персонажей, тем самым повышая погружение в игру и выразительность персонажей.

В сценариях видеоконференций или социальных сетей AniTalker может генерировать виртуальные лица для участников, что не только защищает конфиденциальность пользователей, но также делает встречи и социальное взаимодействие более интересными. Кроме того, AniTalker также может создавать виртуальные ведущие новостей для автоматических трансляций новостей, особенно когда требуются многоязычные трансляции.

Короче говоря, AniTalker, как высокоразвитая и многофункциональная среда создания анимационного видео, обеспечивает мощную техническую поддержку для различных отраслей и открывает новую сферу виртуального взаимодействия и создания контента. Ожидается, что благодаря постоянному развитию технологий и расширению приложений AniTalker будет играть еще более важную роль в будущей сфере цифровых медиа.