Самая большая проблема SD на данный момент - это проблема использования памяти, особенно некоторых видеоплагинов, в том числе недавно вышедшего Stability videoAI, которые занимают видеопамять до предела. Вкупе с запретом на продажу 4090 это очень недружелюбно. для аппаратных игроков, так что насчет этого я суммировал 6 наиболее экономически эффективных решений на рынке, позволяющих вам использовать LCM и FO на основе Tensor RT, чтобы максимизировать использование вашего оборудования и одновременно использовать SDXL! ! !

Почему SDXL силен?

0,1 Объем обучения параметров составляет 10,1 миллиарда, в том числе 3,5 миллиарда для модели BASE и 6,6 миллиарда для модели REFINER, что в 8 раз превышает SD? ? ?

В версии 0.2 внесены улучшения в исходную U-Net от Stable Diffusion (всего XL Base U-Net имеет 14 модулей), VAE и CLIP Text Encoder. Может значительно сократить использование видеопамяти и объем вычислений.

В версии 0.3 добавлена ​​отдельная модель Refiner на основе скрытых данных для улучшения детализации изображения. [Новое: Уточнение скрытых особенностей изображения, созданного базовой моделью, что, по сути, представляет собой работу по созданию изображения из изображения. 】

В версии 0.4 разработано множество приемов обучения (эти приемы обладают хорошей универсальностью и переносимостью и могут принести пользу другим генеративным моделям), включая стратегии определения размера изображения, согласование параметров обрезки изображения, многомасштабное обучение и т. д.

0.5 сначала выпустит тестовую версию Stable Diffusion XL 0.9. Основываясь на опыте пользователей и созданных изображениях, официальная версия Stable Diffusion XL 1.0 будет итеративно запускаться путем увеличения набора данных и использования технологии RLHF для его оптимизации.

Метод выборки 0.6 отключает DDIM (зарезервировано, а не абсолютно) и не требует включения CN. При поддержке CN можно включить версию XL CN. Все экологические потребности — это экология XL

0,7 Непосредственный вывод изображений с разрешением 1024, начиная с 1024*1024.

Основные выводы:

SDXLTurbo использует новую технологию дистилляции для достижения высочайшей производительности и позволяет генерировать одношаговые графики беспрецедентного качества.

Например, уменьшить количество необходимых шагов с 50 до 1.

Пожалуйста, ознакомьтесь с нашей исследовательской статьей для получения конкретных технических подробностей о новой технологии дистилляции этой модели, в которой используется

Сочетание состязательной тренировки и фракционной перегонки.

Загрузите вес модели и код на сайте Hugging Face, который в настоящее время выпущен под лицензией для некоммерческих исследований, которая позволяет

Личное, некоммерческое использование.

Тестирование SDXLTurbo на платформе редактирования изображений StabilityAl Clipdrop с преобразованием текста в изображение в реальном времени

Создание тестовых демонстраций функциональности.

Сегодня мы выпускаем SDXLTurbo, новый режим преобразования текста в изображение. SDXLTurbo основан на технологии Counter Diffusion Steam.

Новая технология дистилляции ADD, которая позволяет моделям синтезировать вывод изображения и генерировать вывод текста в изображение в режиме реального времени за один шаг.

сохраняя при этом высокую точность выборки. Для исследователей и энтузиастов, интересующихся техническими деталями, наша исследовательская статья доступна здесь.

Выбирать. Следует отметить, что SDXL Turbo пока недоступен для коммерческого использования.

Преимущества антидиффузионной дистилляции

Благодаря новым достижениям в технологии диффузионных моделей SDXLTurbo выполняет выбор строки на основе SDXL1.0 и предоставляет модель преобразования текста в изображение.

Внедрена новая технология дистилляции: состязательная диффузионная дистилляция. Объединив ADD, SDXLTurbo получает возможность создавать конфронтацию с GANS.

Сеть имеет множество преимуществ, таких как одноэтапный вывод изображения, избегая при этом артефактов или артефактов, часто наблюдаемых при других методах дистилляции.

Нечеткий. Исследовательский документ SDXLTurbo с подробным описанием новой технологии дистилляции этой модели доступен здесь.

Преимущества производительности по сравнению с другими диффузионными моделями

Чтобы выбрать SDXLTurbo, мы сравнили несколько разных моделей StyleGANT, генерируя выходные данные с помощью одного и того же приглашения.

Сделано с использованием того же метода качества изображения. В этих слепых тестах SDXLTurbo смог одним ходом обыграть 4 хода LCMXL.

конфигурацию, а также конфигурацию из 50 шагов, которая превосходит SDXL всего за 4 шага. Благодаря этим результатам мы видим, что SDXLTurbo работает хорошо, не жертвуя изображением.

Качественный вариант превосходит современные многошаговые модели при значительно меньших вычислительных требованиях.

Кроме того, SDXLTurbo обеспечивает значительное улучшение скорости вывода. На A100 SDXLTurbo генерирует 512512 за 207 мс.

Изображение (кодирование сигнала + один шаг шумоподавления + декодирование, fp16, 67 мс из которых вычисляются с помощью одной прямой оценки UNet.

Я участвую в третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 с эссе, получившими приз, и сформирую команду, которая разделит приз!