Колонна «Машинное сердце»

Редакция «Машинное сердце»

Преобразуйте одно изображение в 3D за 45 секунд без необходимости использования больших объемов 3D-данных и пообъектной оптимизации.

Генерация 3D-ИИ в последнее время быстро развивается, и многие недавние работы позволяют создавать высококачественные трехмерные модели из предложения/изображения. Однако, начиная с DreamFusion и Magic3D во второй половине прошлого года и заканчивая последней версией ProlificDreamer, подавляющая часть работы заключается в создании 3D-моделей путем оптимизации каждого объекта. Такой подход делает существующие методы генерации 3D-ИИ очень трудоемкими. Например, автор ProlificDreamer однажды заявил на Zhihu, что одним из основных ограничений текущего метода является слишком медленное время генерации.

«Вообще говоря, используйте stable-diffusion Создать изображение в PC Это займет всего несколько секунд, даже при точной настройке. LoRA тоже очень быстро однако;,Создание 3D-объекта занимает у нас часы, особенно медленнее при более высоких разрешениях.Это происходит главным образом потому, что мы по существу полагаемся на стохастический градиентный спуск.оптимизация 3D Представительство (NeRF или Сетка) из параметров,Этот процесс требует множества шагов и итераций.,иВерно, графический процессор и видеопамять также предъявляют определенные требования.Мы наконец покажемиз效果是 512 разрешениеизрезультат,Изоптимизация этих результатов действительно требует очень много времени.,Итак, в настоящее времяОтдельным пользователям по-прежнему сложно использовать наш алгоритм непосредственно на ПК.”

Высокая стоимость вывода не только замедляет экспериментальные итерации исследователей, но также препятствует коммерческому внедрению и продвижению технологии 3D AIGC для многих приложений реального времени.

Однако совсем недавно исследователи из UCSD и других учреждений опубликовали последнюю работу One-2-3-45, которая отходит от парадигмы генерации пообъектной оптимизации и может генерировать из любого отдельного изображения/текста за 45 секунд. 3D текстурированные сетки без оптимизации для каждого объекта при тестировании.

• Project Page: http://one-2-3-45.com
• Paper: https://arxiv.org/pdf/2306.16928.pdf
• Code: https://github.com/One-2-3-45/One-2-3-45
• Demo：https://huggingface.co/spaces/One-2-3-45/One-2-3-45

http://mpvideo.qpic.cn/0bc3gyaauaaaziakqhnhorsfanwdbi3aacqa.f10002.mp4?

Создание 3D-изображения из одного изображения

One-2-3-45 также поддерживает создание 3D-моделей из произвольного текста путем объединения с существующими грамматическими моделями, такими как DALL-E2.

http://mpvideo.qpic.cn/0bc3qeaasaaawqakv75horsfbaodbgaqacia.f10002.mp4?

Генерация текста 3D

Как только статья была опубликована, ее начал продвигать и распространять руководитель Twitter AK, и она получила широкое внимание пользователей сети.

пользователь сети Xin Kong Комментарий: «Это лучшее из времен и худшее из времен. Возможно, это 3D Диффузионное генерирование Instant NGP время. 30 минута ->45 секунды, фракционная перегонка, 2D вид на 3D Это единственный путь! "

метод

потому что 3D Дефицит данных, подавляющее большинство последних академических 3D AI Работа по генерации осуществляется с помощью 2D Модель диффузионной генерации в качестве руководства 3D средства (например, NeRF) оптимизация для достижения 3D Генерация контента. Один-2-3-45 не следует этой парадигме,СкорееИспользуйте его первым 2D Диффузионная модель генерирует многоракурсные изображения, а затем надеется использовать эти многоракурсные изображения для реконструкции. 3D Модель.

В частности, One-2-3-45 использует управляемую перспективу модель генерации двумерной диффузии Zero123. Благодаря точной настройке Stable Diffusion эта модель обеспечивает возможность ввода одного изображения и относительного преобразования позы камеры, а затем возможность прогнозировать соответствующее изображение объекта в преобразованной перспективе.

Используя этот тип генеративной 2D-диффузионной модели, мы можем прогнозировать и генерировать соответствующие многоракурсные изображения на основе изображения.

Естественная идея — передать эти многопросмотровые изображения классическому NeRF изребилдметод для генерации 3D Однако исследователи обнаружили, что это не дало качественных результатов. 3D модель (показана ниже).

Это на самом деле потому, чтоСеть прогнозирует многоракурсные изображения с потенциальными несоответствиями.Однаковерно于基于 NeRF Класс изоптимизации перестраивает метод, и некоторых незначительных несоответствий достаточно, чтобы вызвать сбой метода.

Как показано на рисунке выше, сравнивая предсказанные многоракурсные изображения с реальными данными, исследователи обнаружили, что, хотя многоракурсные изображения, предсказанные Zero123, не имеют высокой точности на уровне пикселей (PSNR не высок). Однако общий контур (mIoU) и семантическое/перцептуальное сходство (сходство CLIP) высоки, особенно когда трансформация относительной позы камеры невелика. Эти результаты иллюстрируют возможность использования предсказанных сетью многоракурсных изображений для 3D-реконструкции.

существовать One-2-3-45 середина,исследовательИспользуется на основе cost volume обобщаемости NeRF добрыйизметоддля достижения трехмерной реконструкции。这добрыйметод Возьмите многопросмотровые изображения в качестве входных данных,существование может быть непосредственно выведено после тренировки 3D Контент без дополнительной оптимизации. потому что что такой методпроход из обучающих данных узнал о Прогнозе с несколькими представлениями несоответствий из предшествующих знаний, они с большей вероятностью смогут избежать несоответствий из Прогноз с несколькими представлениямисерединагенерировать 3D Модель.

Блок-схема метода One-2-3-45

В частности, Один-2-3-45. Во-первых, путем извлечения многопросмотровых изображений 2D Особенности изображения и построены с помощью позы камеры 3D cost объем. Затем One-2-3-45 проходить 3D Происхождение сверточной нейронной сети 3D cost volume Сделайте вывод, что входное многоракурсное изображение действительно должно быть скрытым. 3D Геометрия и, наконец, преподавание MLP предсказывать объекты SDF и цвет для объемной визуализации.

проходитьобъединить 2D Диффузионная модель генерации и на основе cost volume обобщаемости NeRF,One-2-3-45 существование может быть сгенерировано за один прямой проход 3D Модель. Избавьтесь от отнимающей много времени погони за объектами. 3D После оптимизации One-2-3-45 генерировать высокое качество 3D Время текстурирования сетки сократилось с нескольких часов до 45 Второй!

Однако продолжался процесс реализации этой идеи из,Исследователи имеютВозникли некоторые специфические проблемы:

1. существующийобобщаемости NeRF Метод в основном принимает в качестве входных данных согласованные многовидовые изображения (рендеринг с реальных объектов). Но как расширить этот тип метода до не совсем согласованного из Прогноз с несколькими представлениямиздесь？

2. существующийобобщаемости NeRF Метод Большое внимание уделяется переднему плану реконструкции. Но существовать 3D В сгенерированной задаче мы надеемся получить 360 Степень незавершенности Модель.

3. потому что Zero123 Для описания относительного положения камеры используется сферическая система координат. Чтобы передать положение камеры многоракурсных изображений в модуль реконструкции, нам нужно получить высоту камеры, соответствующую входному изображению.

Для решения этих проблем,Исследователи разработали ряд ключевых стратегий обучения (например, поэтапное прогнозирование многопроекционных изображений) и модуль прогнозирования угла тангажа.Пожалуйста, обратитесь к оригинальной статье для получения подробной информации.。

Исследователи также особо отметили, что потому что Модуль что реконструкция в основном опирается на местную переписку (переписку),Поэтому требуется лишь небольшое обучение.,И оно имеет сильные свойства обобщаемости.

с существующими 3D AI генерироватьметодиз Сравнивать

Исследователи говорят, что благодаря “2D Прогноз с несколькими представлениями + 3D «Обобщающая реконструкция» из Технический маршрут,One-2-3-45 с существующимииз 3D AI По сравнению с методом генерации, помимо значительного сокращения времени вывода, он также имеет входные данные из разнообразия, выходные данные из геометрического представления и результат из 3D Согласованность, сходство с входными данными и обязательность 3D С точки зрения масштаба данных он имеет много преимуществ.

Конкретно,Многие пообъектные оптимизацииметоды позволяют генерировать высококачественный 3D-контент.,Но в настоящее время поддерживается только генерация текста в 3D.（нравиться DreamFusion,Magic3D и Плодовитый мечтатель). и One-2-3-45 Оба поддерживают генерацию текста 3D Также поддерживает генерацию изображений 3D. На рисунке ниже показано One-2-3-45 с существующимиизглавный ученик 3D каловые массы.

http://mpvideo.qpic.cn/0bc3zeaasaaas4alycvhorsfbsodbheqacia.f10002.mp4?

с существующими Тушенг 3D методиз Сравнивать

Вы можете увидеть некоторые на основе NeRF оптимизацияизметод（нравиться RealFusion и 3D Fuse) добился довольно хороших результатов с точки зрения синтеза новой перспективы, но NeRF Геометрическое качество вывода неудовлетворительное. Аналогично, точка-E Исходный результат представляет собой разреженное облако точек, и после постобработки и реконструкции в некоторых областях все еще возникают проблемы с разбитыми и отсутствующими областями. и One-2-3-45 проходитьпредсказывать SDF Чтобы извлечь сетку, геометрическое качество вывода должно быть более выгодным.

Еще один важныйиз Просто нажмитеСуществующий методиз вывода не полностью соответствует (приверженности) входной картинке из инструкций.比нравитьсявернов первом столбцеиз Рюкзак,Zero123+SD Получившийся рюкзак имеет только одну лямку Shap-E; Получившийся рюкзак не имеет лямок. Для одного огнетушителя во второй колонне Шап-Э и Point-E Оба предсказывают два соединенных огнетушителя. Что касается табуретов в четвертом столбце, вы можете видеть, что есть только One-2-3-45 и 3DFuse Структура ножки стула входного изображения сохраняется. Но следует отметить, что 3DFuse Все сгенерировано 3D Конкретный стиль и детали существующего контента сильно отличаются от входного изображения.

также,исследователь还指出Проблемы согласованности 3D часто возникают на уровне отдельных объектов.他们генерироватьиз 3D Модель обычно выглядит многогранной (или Janus вопрос). Например, на картинке выше RealFusion Создает двусторонний рюкзак. Для сравнения: Один-2-3-45 приносящий результат 3D Консистенция намного лучше.

Исследователи также упомянули OpenAI из Point-E и Shap-E существуют миллионы уровней, которые используются в обучении из внутренних 3D данные。потому что 3D дефицит данных, например, масштаб обучающих данных в настоящее время подходит для многих исследователей. / Условия для учреждений по-прежнему относительно жесткие.

с существующими Винсент 3D методиз Сравнивать

Видно, что в дополнение к поставленным ранее вопросам, существующие из Винсент 3D Возможности метода верного ввода текста не очень хороши. Например, верно для ввода текста «Большое дупло», «Оранжевая табуретка на зеленых ножках», «Шляпа в форме ананаса в гаванском стиле». а также «Деревянная текстура из грибов» и т. д., ни один из существующих методов не может генерировать точные данные. 3D содержание. В сравнении,One-2-3-45 Принято изсуществовать 2D Создайте соответствующие изображения, а затем обновите их до 3D Кажется, существует способ ввода текста с более точным контролем.

Заключение

One-2-3-45 предложенный “2D Прогноз с несколькими представлениями + 3D «Обобщающая реконструкция» Такая новинка 3D AI Генерируем геймплей, и существование продемонстрировало свое превосходство во многих аспектах. Хотя в настоящее время One-2-3-45 Качество генерации может быть не таким хорошим, поскольку частично основано на пообъектной оптимизации. Винсент 3D Модель, но этот новый игровой процесс, посвященный исследованию и улучшению космоса, может быть полон потенциала.