Новый отчет мудрости

Редактор: Редакционный отдел

【Шин Джиген Введение】Стартап всего из четырех человек,Уже собрал $55 млн.,В список финансирующих компаний входит почти половина компаний Кремниевой долины.,Число пользователей превысило 500 000 за полгода,сегодня,Pika 1.0 дебютирует, и спецэффекты уровня фильма шокируют всю сеть.

Pika, сильнейший конкурирующий продукт Runway Gen-2, спустя полгода внезапно выпустил большой шаг — официально выпущена Pika 1.0!

Всего через шесть месяцев после своего создания Pika завершила работу над бета-версией и официально выпустила свой первый продукт, способный создавать и редактировать 3D-анимацию, мультфильмы, мультфильмы и фильмы.

В сфере видео, генерируемого искусственным интеллектом, вот-вот произойдет еще одно большое землетрясение.

Более того, Pika получила финансирование в размере 55 миллионов долларов США (оценкой почти в 200 миллионов долларов США), что дает этой начинающей компании, насчитывающей всего четыре человека, возможность конкурировать с такими гигантами, как Meta, Adobe и Stability AI.

Список инвесторов очень роскошный. В этом раунде финансирования приняли участие почти все известные компании в области искусственного интеллекта. Список включает, помимо прочего:

Можно сказать, что бывший генеральный директор Github Нат Фридман, основатель Quora Адам Д'Анджело, член-основатель OpenAI Карпати, генеральный директор Perplexity и т. д. собрали половину Кремниевой долины.

Рождение Пики — это еще одна история о том, как он бросил Стэнфорд и стал генеральным директором.

Основатель Деми Го, а также соучредитель и технический директор Чэньлин Мэн являются аспирантами лаборатории искусственного интеллекта в Стэнфордском университете.

Генеральный директор Pika Деми Го (слева) с детства любил поэзию и писательское творчество, а соучредитель и технический директор Чэньлин Мэн (справа) надеется стать аниматором.

По чистой случайности создание Pika на самом деле стало возможностью, предоставленной конкурирующим продуктом Runway.

Го Вэньцзин и его одноклассники приняли участие в первом кинофестивале искусственного интеллекта Runway в прошлом году и обнаружили, что инструменты Runway и Adobe Photoshop непросты в использовании, а их работы не получили наград.

В апреле этого года Го Вэньцзин решил бросить Стэнфорд, чтобы разработать более эффективные видеоинструменты с искусственным интеллектом, и так родилась Пика.

Текстура фильма, спецэффекты на уровне анимации, эффекты взрыва Pika 1.0.

Инвестиции-ангелы от больших парней — это всего лишь подтверждение возможного успеха, но что действительно произвело фурор во всем Интернете, так это официальное видео их результатов:

Одним предложением «Илон Маск в скафандре, 3d анимация» Маск мгновенно перешёл во второе измерение.

Что удивительно, так это то, что 3D-анимационная версия Босса Ма не только имеет и дух, и форму, но фон и движения очень разумны и последовательны, а последовательность лица также удивительно идеальна!

Сравнивая предыдущие видеоэффекты Gen-2 и Pika Labs, Pika 1.0 просто не является продуктом той же эпохи.

Поистине каждый может стать собственным видеорежиссером.

Зрители, возможно, еще не оправились от потрясающих эффектов 3D Маска. В следующем ролике чиновник сразу продемонстрировал видеоэффекты, созданные Пикой 1.0 в других стилях.

От обычной 2D-анимации до реальных сцен из фильмов — созданные видеоролики демонстрируют идеальный свет и тени, изысканные детали и разнообразные возможности управления объективом.

Я не знаю, что чувствуют традиционные кинематографисты, когда видят это.

Я не знаю, что чувствуют традиционные кинематографисты, когда видят это.

Что действительно вызвало одобрение в Интернете, так это то, что Pika Labs 1.0 может поддерживать редактирование и модификацию видео в реальном времени.

Благодаря этим возможностям, которые только что появились даже в области обработки изображений с использованием искусственного интеллекта, Pika Labs может распространить их на видео с использованием искусственного интеллекта.

Видно, что технические и инженерные возможности их команды действительно потрясающие.

Подобно функции «внешнего рисования» Midjourney для изображений, Pika 1.0 может напрямую расширять видео на основе существующих материалов для создания контента с различными соотношениями сторон.

Еще более преувеличено то, что Pika 1.0 может напрямую добавлять в видео нужный материал.

Просто щелкните поле мыши и введите «классная пара солнцезащитных очков», и вы сразу же сможете аккуратно надеть солнцезащитные очки на бабуина в видео, что идеально соответствует исходному видео.

Что касается одежды персонажей видео, то вы можете просто выделить диапазон и ввести текстом нужный эффект, а одежду можно сменить в один клик.

Это волшебство!

Поддержка оперативного ввода в трёх режимах позволяет Pika Labs 1.0 напрямую «настраивать» практически все функции семейства ВПП.

В видеороликах Винсента мимика всех персонажей и животных идеальна, в сочетании с детализацией уровня голливудской анимации и эффектами света и тени, сложно представить, что эта компания существует всего полгода.

Изображение объединяется со словом-подсказкой для создания анимации. Изображение представляет собой первый кадр, а текст управляет эффектом изменения анимации и линзой.

Еще проще создавать анимации разных стилей на основе предоставленного пользователем видеоматериала и слов-подсказок.

От пиксельного стиля до эффекта черно-белого слайда — 5 продемонстрированных преобразований стилей охватывают почти большинство существующих стилей фильмов и анимации.

Подводя итог, новые возможности новой модели Пика 1.0 включают в себя:

- Видео, генерируемое текстом/видео, генерируемое изображением: введите несколько строк текста или загрузите изображение, чтобы создать короткое высококачественное видео с помощью искусственного интеллекта. - Преобразование разных стилей видео-видео: конвертируйте существующие видео в разные стили, включая разных персонажей и объекты, сохраняя при этом структуру видео. - Развернуть: разверните холст или соотношение сторон видео. Измените видео с формата TikTok 9:16 на широкоэкранный формат 16:9, и модель ИИ будет предсказывать контент за пределами исходного видео. - Изменение: используйте искусственный интеллект для редактирования видеоконтента, например, для переодевания, добавления другого персонажа, изменения окружающей среды или добавления реквизита. - Продлить: используйте искусственный интеллект, чтобы увеличить продолжительность существующих видеоклипов. - Новый веб-интерфейс: Пика будет доступна на Discord и в Интернете (мобильный и настольный компьютер) по адресу https://pika.art.

Судя по функциям, которые Pika Labs 1.0 может реализовать сейчас, кажется, что оба основателя заявили, что начали бизнес, потому что чувствовали, что Runway непросто использовать. Кажется, это вовсе не преувеличение.

Они реализовали почти все существующие функции семейства Runway за 6 месяцев, а также произвели комплексные обновления для устранения ряда существующих недостатков продуктов Runway.

Точное семантическое понимание может точно сформировать Маска как по духу, так и по форме.

Практически идеальная согласованность лиц персонажей, благодаря чему черты лица персонажей анимации не будут искажены.

Возможности точного оперативного редактирования слов позволяют пользователям свободно добавлять и изменять различные элементы в видео.

Теперь, когда Pika 1.0 открыта для пробного использования, пользователи сети написали в Твиттере после просмотра видео: Люди, стоящие в очереди, чтобы подать заявку на Pika 1.0, сейчас такие!

Прежде чем получить право на участие в пробной версии Pika 1.0, как и Midjourney, пользователи теперь получают доступ к сервису создания видео Pika Labs через Discord.

Пользователям нужно всего лишь ввести текст в поле чата, например «Робот гуляет по пляжу на закате», и они получат видео, созданное искусственным интеллектом.

Во вторник Pika представила этот опыт в Интернете, ориентируясь на более широкую аудиторию, позволяя им редактировать видео и настраивать объекты.

Существует также «3D-анимационный трейлер», выпущенный креативным директором Pika несколько дней назад с использованием функции искусственного интеллекта Pika для преобразования текста в видео. Эффект очень милый.

Большие парни с искусственным интеллектом настроены оптимистично

Крупные имена в криптопространстве высоко оценили Pika 1.0, в том числе соучредитель Solana и соучредитель Reddit Алексис Оганян.

Многие в криптосообществе считают, что генеративный ИИ может оживить рынок NFT, предоставляя создателям новые способы воплотить свои цифровые идеи в жизнь и предоставляя коллекционерам уникальные цифровые активы, созданные ИИ.

Генеральный директор Hugging Face Клемент, ангел-инвестор Pika Labs, также сделал вчера прогноз:

В 2024 году определенная сфера массовых медиа будет наполнена контентом, созданным искусственным интеллектом.

Сам учёный OpenAI Карпати очень обеспокоен новыми тенденциями в области генерации изображения-видео. А также участвовал в этом раунде финансирования Pika Labs.

В связи с этим он высказал некоторые свои соображения:

Вы знаете, как за очень короткое время генерация изображений происходит от размытых текстурных блоков 32x32 до изображений высокого разрешения, которые неотличимы от реальных изображений? Сейчас то же самое происходит одновременно и с видео, и эффект невероятен. Каждый становится режиссером мультимодальных мечтаний, как архитектор в «Начале». Возвращаясь на минутку к реальности: генерация изображений/видео идеально подходит для нейронных сетей, требующих больших объемов данных. Поскольку данных много, каждый пиксель изображения или видео является огромным источником битов (мягких ограничений) для сетевых параметров. Когда вы тренируете гигантскую нейронную сеть в среде, контролируемой данными, ваши потери в обучении = потерям при проверке, жизнь прекрасна.

Два месяца назад он также использовал инструменты DALL·E 3 и Pika Labs для создания анимации.

Генеральный директор Perplexity AI сказал, что Деми и Ченлин очень мотивированы. Вот почему они так успешны. Наблюдение за их исполнением и прогрессом с тех пор, как я участвовал в их посевном раунде, заставило меня понять одну вещь: поддерживать неустанную мотивацию.

Генеральный директор Stability AI также похвалил последние достижения Pika Labs.

Генеральный директор Pytorch заявил, что у Runway, как у лидера в этой области, теперь появились новые конкуренты.

Бросил Стэнфорд и стал генеральным директором

По данным Forbes, прошлой зимой Го Вэньцзин и несколько его однокурсников по компьютерным наукам из Стэнфорда планировали использовать генеративный искусственный интеллект, чтобы снять фильм во время зимних каникул.

В то время Runway, стартап-компания стоимостью 500 миллионов долларов США, провела первый фестиваль фильмов об искусственном интеллекте с призом в 10 000 долларов США. И они очень уверены в том, что получат эту награду.

Неожиданно работа команды Го Вэньцзина не была выбрана. Их команда была высокотехнической, но процесс создания фильма не был гладким.

Хотя в то время было много прорывов в технологиях искусственного интеллекта, процесс их применения в видеопроизводстве был очень громоздким. Несмотря на то, что команда потратила много времени на Gen-2 и Adobe Photoshop, результаты не были идеальными.

В итоге главный приз Runway достался профессиональному творческому коллективу. Это очень расстроило Го Вэньцзин.

В апреле этого года Го Вэньцзин и Ченлинь Мэн бросили Стэнфорд и основали Pika с целью создания более простого в использовании инструмента для создания видео с помощью искусственного интеллекта.

С момента основания Pika число пользователей выросло до 500 000, которые каждую неделю создают миллионы видеороликов.

Этот взрывной рост привлек интерес инвесторов Кремниевой долины, что позволило Pika привлечь $55 млн за три раунда финансирования.

Первые два раунда финансирования возглавил бывший генеральный директор GitHub Нат Фридман, а последний раунд финансирования серии A в размере 35 миллионов долларов возглавил Lightspeed Venture Partners.

Фридман сказал, что его очень впечатлила ранняя демонстрация, созданная командой Pika с использованием одного графического процессора.

Фридман и инвестор Дэниел Гросс являются совладельцами суперкомпьютерного кластера, содержащего более 2500 графических процессоров, под названием Andromeda. Стартапы, в которые они инвестируют, получат поддержку от этого ресурса.

С помощью суперкомпьютерного кластера Andromeda видеомодель искусственного интеллекта Pika добилась быстрого прогресса.

Главное оружие стартапа — скорость

Вначале Pika концентрировалась только на создании анимационных видеороликов.

Поскольку они считают, что задача использования искусственного интеллекта для создания реалистичных видеороликов слишком сложна, хорошо финансируемые компании, такие как Runway и Stability AI, уже имеют преимущество.

Более того, такие гиганты, как Adobe, быстро интегрировали функции искусственного интеллекта в свои продукты.

Однако скорость команды двух основателей превзошла все ожидания.

Одним летним днем ​​ангел-инвестор Фридман предложил команде идею: вставлять текст в видео.

В 3 часа ночи он получил текстовое сообщение о том, что функция готова.

Фридман был шокирован тем, насколько эффективной была команда, но вскоре он понял, что этот «чрезвычайно эффективный» рабочий ритм был самой большой особенностью команды.

Это одна из причин, по которой Фридман решил сделать следующий раунд инвестиций.

Майкл Миньяно, партнер компании Lightspeed, которая инвестировала в сентябре, также считает, что это ключевое преимущество Pika: «Для стартапов скорость — самое большое оружие и преимущество, и эта команда, несомненно, самая быстрая, которую я когда-либо видел».

На такой скорости команде удалось использовать ИИ для создания настоящих видеороликов всего за несколько недель.

Когда Миньяно предложил идею разработки веб-приложения в начале ноября, Пика отреагировала немедленно и в том же месяце запустила веб-версию.

Сегодня Pika арендует сотни графических процессоров. Выпущенная сегодня Pika 1.0 построена на этих графических процессорах.

В то же время команда Pika также усердно работает над улучшением своих алгоритмов для повышения производительности моделей и разработкой новых алгоритмов для фильтрации контента, защищенного авторскими правами, который может вызвать судебные разбирательства по поводу авторских прав.

«Работы в этой области все еще находятся на исследовательской стадии», — сказал Го Вэньцзин.

Благодаря новому раунду финансирования Го планирует в следующем году расширить команду Пики примерно до 20 человек, в основном инженеров и исследователей.

В настоящее время продукты Pika бесплатны и не спешат зарабатывать деньги, но Го Вэньцзин заявил, что компания может со временем запустить модель многоуровневой подписки, которая позволит платным пользователям пользоваться большим количеством функций.

Го Вэньцзин также планирует использовать этот метод, чтобы отличить Pika от других конкурирующих продуктов.

Мы не создаем инструменты для кинопроизводства, мы создаем продукты для обычных потребителей — мы креативны, но не профессионалы. Если бы год назад существовал такой инструмент, как Pika, наша команда наверняка блеснула бы на фестивале AI Film Festival.

окончание

В области AI-видео конкуренция становится все более жесткой.

Технический гигант Adobe Systems приобрел Rephase.ai, Meta запустила Emu Video, Stability AI выпустила Stable Video Diffusion, а Runway обновила RunwayML.

Вторжение Пики, несомненно, в очередной раз всколыхнуло картину видеополя ИИ, и на поле боя уже клубится дым.

Ссылки:

https://twitter.com/pika_labs/status/1729510078959497562

https://techcrunch.com/2023/11/28/pika-labs-which-is-building-ai-tools-to-generate-and-edit-videos-raises-55m/

https://decrypt.co/207799/pika-ai-video-tool-blasts-out-of-beta