Технология LCM позволяет 4090 генерировать 10 изображений размером 512X52 за 1 секунду. Она настолько мощная, что если ее можно использовать в Animetadiff, это может значительно повысить эффективность генерации видео. Раньше мы использовали SD для создания изображений, требующих не менее 20 шагов деривации, но для использования LCM требовалось только 4 шага. Согласно результатам некоторых тестов, 6-8 шагов могут быть идеальным шагом. Теперь вы можете попробовать LCM в WebUI и ComfyUI, но при установке этих двух плагинов я столкнулся с проблемами разной степени. Если вам интересно, вы можете установить их самостоятельно. Одна из проблем LCM заключается в том, что в настоящее время он может использовать только свою собственную модель и не совместим с существующими моделями SD. Однако, если эффективность будет достаточно высокой, я чувствую, что адаптаций будет больше.

В день конференции разработчиков 7 ноября, в дополнение к семейству чатов GPT, OpenAI открыла исходный код нового декодера, основанного на технологии LCM, и открыла исходный код нового VAE. Впоследствии термин LCM также стал популярным, но сказал, как. хорошее улучшение стало в 5 раз? Адрес плагина получите в конце статьи! ! !

Stablediffusion

Stable Diffusion — это модель скрытой диффузии текста в изображение с глубоким обучением (LDM/Latent Diffusion Model), выпущенная в 2022 году и созданная исследователями и инженерами из CompVis, Stability AI и LAION. Для обучения он использует изображения размером 512x512 из подмножества базы данных с открытым исходным кодом LAION-5B и устраняет узкое место в скорости диффузии за счет введения скрытого векторного пространства. Помимо использования для задач с генерируемыми текстами, его также можно использовать для графов. -сгенерированные графики, конкретные характеристики персонажей и даже супер-оценки или задания по раскраске.

Как это понять?

Когда гальку бросают в спокойное озеро, процесс, при котором водная рябь распространяется по окружающей среде и, наконец, возвращается к спокойному состоянию, называется стабильной диффузией. В принципе генерации изображения процесс диффузии относится к процессу постепенного преобразования изображения. в один после нескольких итераций. Процесс размытия и распространения. В ходе этого процесса подробная информация об изображении постепенно исчезнет, ​​оставив только общую структурную информацию. Название «стабильная диффузия» происходит от стабильности этого процесса.

Модель скрытой согласованности: больше не требуется пошаговое шумоподавление и прямое отображение.

говорится в официальном документескрытыйсуществоватьдиффузионная модель（LDMs）существовать Замечательные результаты, достигнутые при синтезе изображений высокого разрешения。но,Итеративный процесс выборки требует больших вычислительных ресурсов.,и приведет к медленной сборке. При условии соблюдения модели последовательности (песня и др.), мы предлагаем модель скрытой согласованности (LCM), может использоваться в любых предварительно обученных LDM для быстрого вывода за минимальное количество шагов, включая стабильную диффузию (ромбаха и др.). Рассматривайте процесс управляемой обратной диффузии как решение обыкновенного дифференциального уравнения потока с расширенной вероятностью. （PF-ODE）,LCM Направлен на прямое предсказание решений таких обыкновенных дифференциальных уравнений в скрытом пространстве, тем самым уменьшая необходимость в нескольких итерациях и обеспечивая быструю и высокоточную выборку. высокое качество 768 x 768 2~4 шаг LCM Эффективно извлекается из предварительно обученных моделей управляемой диффузии без классификаторов со временем обучения всего 32 индивидуальный A100 GPU Час. Кроме того, мы вводим тонкую настройку скрытой согласованности (LCF), метод точной настройки пользовательских наборов данных изображений. LCM Новый подход к пошиву одежды. верно LAION-5B-Aesthetics Оценка набора данных показывает, что LCM Современная производительность преобразования текста в изображение с помощью геометрических рассуждений

Встраивая во входные данные модели руководство без классификатора, LCM может создавать высококачественные изображения за очень короткое время вывода. Мы сравнили время вывода с использованием графического процессора A800 при разрешении 768 x 768, масштабе CFG w = 8, пакетном размере = 4 настройках.

ComfyUI

LCM img2img

LCM vid2vid

Отчеты об ошибках и их устранение

ValueError: Non-consecutive added token '<|startoftext|>' found. Should have index 49408 but has index 49406 in saved vocabulary

Чтобы решить эту проблему, найдите каталог кэша концентратора Huggingface.

Это будет что-то вроде .существовать Windows да, это примерно .~/.cache/huggingface/hub/path_to_lcm_dreamshaper_v7/tokenizer/C:\Users\YourUserName\.cache\huggingface\hub\models--SimianLuo--LCM_Dreamshaper_v7\snapshots\c7f9b672c65a664af57d1de926819fd79cb26eb8\tokenizer\

Найдите файл и измените его содержимое на：added_tokens.json

{
  "<|endoftext|>": 49409,
  "<|startoftext|>": 49408
}
Многие коллекции искусственного интеллекта были организованы по адресу https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH.

ЯсуществоватьучаствоватьНа третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будет проводиться конкурс сочинений. Соберите команду, чтобы выиграть приз!