бумага:

https://arxiv.org/abs/2312.13964

Код: (Нажмите в конце статьи, чтобы прочитать исходный текст, добро пожаловать на звездочку)

https://github.com/open-mmlab/PIA

сайт:

https://pi-animator.github.io/

Онлайн-приложение:

https://openxlab.org.cn/apps/detail/zhangyiming/PiaPia

Технология персонализированной генерации уже позволяет нам создавать персонализированный контент и стилизованные изображения, и мы также надеемся добавить динамики этим созданным изысканным персонализированным изображениям. Однако на пути к этой цели есть две основные трудности. Во-первых, сгенерированному видео трудно восстановить детали изображения, введенного пользователем; во-вторых, сгенерированным видео невозможно точно управлять с помощью текстовых подсказок в соответствии с потребностями пользователя;

В ответ на эти две основные трудности появилась PIA, которая может восстанавливать детали изображения и оперативно реагировать на видео с быстрым текстовым содержанием.

Введение метода

PIA (Personalized Image Animator) — это текстовая модель видео с персонализированными изображениями, которую можно вставлять в различные шаблоны изображений для создания видеороликов различного стиля и содержания.

Схема структуры выглядит следующим образом: изображение, введенное пользователем, будет объединено со сходством между кадрами через модуль условий, а затем участвовать в расчете перекрестного внимания в UNet для добавления анимации к входному изображению на основе текста.

Его ядром является модуль условий и межкадрового сходства (желтая часть на рисунке). С помощью этой конструкции PIA может создавать видеоролики, которые восстанавливают детали изображения и очень быстро реагируют на подсказки по содержанию слов.

Введение в приложение

Создание анимации текстового элемента управления

PIA может создавать для вас смайлы ваших любимых персонажей. С помощью различных текстовых подсказок вы можете добавлять персонажам разные выражения и анимацию.

Контроль амплитуды движения

PIA может контролировать амплитуду движения в создаваемом видео. За счет создания межкадрового подобия можно добиться генерации динамических эффектов различной амплитуды.

перенос стиля

PIA Также возможно создавать видео разных стилей для ваших изображений. ПИА Низ Модель, которая может адаптироваться к различным стилям, будет Модельперенос. стиль в сгенерированное видео.