В эпоху цифровых технологий спрос на персонализированный и интерактивный контент продолжает расти, и новейшие технологические достижения делают это возможным. Xiangyuan Technology в сотрудничестве с исследовательскими группами Гонконгского университета науки и технологий и Университета Цинхуа разработала инновационную структуру портретной анимации под названием «Follow-Your-Emoji». Эта технология основана на модели диффузии и может превращать статичные портреты в выразительные. . анимация.

Суть этой технологии заключается в ее способности захватывать и синхронизировать заранее определенные или записанные в реальном времени последовательности выражений лица с любым статическим эталонным портретом, обеспечивая динамическое моргание, улыбку, хмурое выражение лица и другие сложные выражения. Follow-Your-Emoji не только поддерживает несколько стилей создания анимации, таких как реальные люди, мультфильмы, скульптуры и даже изображения животных, но также может сохранять идентичность персонажей и предотвращать потерю или утечку идентификационной информации в процессе преобразования анимации. .

В процессе создания анимации, используя модель диффузии (Stable Diffusion) и технологию ориентиров с учетом выражений (Expression-Aware Landmark), эта платформа может точно контролировать каждую деталь анимации. Эти ориентиры уделяют особое внимание ключевым областям изменения выражения лица, таким как глаза и рот, чтобы анимация была не только естественной, но и могла показывать преувеличенные движения, такие как сильное расширение или сужение зрачков.

Чтобы поддерживать согласованность и временную согласованность анимации, Follow-Your-Emoji представляет функцию потери уточнения лица и механизм временного внимания. Эти технологии гарантируют, что каждый сгенерированный кадр анимации визуально и временно соответствует предыдущим и последующим кадрам. . Кроме того, технология долгосрочной генерации анимации с использованием стратегии прогрессивной генерации также значительно повышает стабильность и качество анимации.

Эта технология не ограничивается личным творчеством: ее широкий спектр сценариев применения также охватывает сферы развлечений, образования и бизнеса. Независимо от того, управляете ли вы несколькими различными эталонными аватарами с помощью одной последовательности действий или используете один эталонный аватар в сочетании с несколькими различными видеороликами о вождении, Follow-Your-Emoji обеспечивает стабильные и высококачественные результаты анимации.

В целом, развитие технологии Follow-Your-Emoji не только демонстрирует мощный потенциал диффузионных моделей в производстве анимации, но и приносит новые инструменты в индустрию производства анимации, делая создание персонализированного и динамического контента более удобным и точным. Продвижение и применение этой технологии знаменует вступление в новую, высокоинтерактивную эру цифровых развлечений.