В октябре 2023 года был дебютирован интеллектуальный помощник Кими, который опирался на возможности контекста без потерь, состоящие из 200 000 китайских иероглифов, чтобы помочь пользователям раскрыть множество новых сценариев использования, включая перевод и понимание профессиональных научных статей, анализ юридических вопросов, быстрое понимание Документы по разработке API и т. д. Получите двукратный рост репутации пользователей и объема бизнеса.

В марте 2024 года Moonshot AI объявила, что Кими совершил новый прорыв в технологии длинных контекстных окон, а длина контекста без потерь была увеличена на порядок до 2 миллионов слов. В Dark Side of the Moon считают, что увеличение на порядок длины контекста без потерь для больших моделей в дальнейшем поможет каждому раскрыть свое воображение для сценариев применения ИИ, включая анализ и понимание полных баз кода, интеллектуальных агентов, которые могут автономно помогать людям выполнять многоэтапные сложные задачи, пожизненный помощник, который никогда не забывает ключевую информацию, мультимодальная модель с по-настоящему унифицированной архитектурой и т. д.

В области, в которой раньше требовалось 10 000 часов, чтобы стать экспертом, теперь Кими требуется всего 10 минут, чтобы приблизиться к уровню младшего эксперта в любой новой области. Поддерживая 2 миллиона слов сверхдлинного текста без потерь, Kimi упрощает пользователям быстрое изучение новых полей. Например, загрузив полное руководство по диагностике и лечению китайской медицины, содержащее почти миллион слов, Кими может дать рекомендации по диагностике и лечению проблем пользователей.

Быстрая сортировка большого объема информации также является проблемой, с которой сталкиваются многие пользователи на работе. Если взять в качестве примера проверку резюме, то HR-менеджер компании может использовать Kimi для интенсивного чтения 500 резюме в зависимости от бизнес-потребностей компании и быстрого поиска тех, которые есть. Опыт работы в определенной отрасли Соискатели, окончившие компьютерные специальности, могут более эффективно отбирать и находить подходящих кандидатов.

С 200 000 слов до 2 миллионов слов технические трудности, с которыми столкнулась команда «Тёмной стороны Луны», также возросли в геометрической прогрессии, потому что они не пошли по обычному пути постепенного улучшения. Чтобы добиться более высокой производительности сжатия без потерь в длинном окне, научно-исследовательские и технические группы провели собственный редизайн и разработку от предварительного обучения модели до выравнивания и вывода, не прибегая к техническим упрощениям, таким как «скользящее окно» и «понижающая дискретизация», чтобы преодолеть Это решает многие основные технические трудности.

В процессе разработки и продвижения продукта Dark Side of the Moon провела углубленное сотрудничество с Volcano Engine для проведения совместных технологических инноваций и совместного продвижения применения крупномасштабных языковых моделей в вертикальных областях и общих сценариях.

1

Очень масштабная мультимодальная большая модель

Предварительная тренировка быстрая, стабильная и экономичная.

В процессе крупномасштабного обучения такие трудности, как потеря использования ресурсов графического процессора, экспоненциальное увеличение вероятности отказа задачи на килокалории, взрыв градиента модели и отсутствие своевременной обратной связи об эффектах обучения, часто влияют на эффективность обучения модели, затрудняя ее. полностью осознать ценность данных и вычислительной мощности.

Платформа машинного обучения Volcano Engine сформировала решения и лучшие практики, такие как комплексная оптимизация разработки ИИ, самовосстановление ошибок задач и экспериментальная наблюдаемость, обеспечивая высокоэффективный, стабильный и наблюдаемый универсальный ИИ для Темной стороны мира. Moon. Разработка алгоритмов и итерационные услуги. В процессе доработки и выпуска Kimi компания Dark Side of the Moon реализовала сверхкрупномасштабное решение для обучения искусственного интеллекта и ускорения вывода, предоставляемое Volcano Engine, для достижения нормализованного обучения на одном большом кластере с тысячами карточек, что помогло команде быстро завершить непрерывное обучение больших языковых моделей. Итерировать, настраивать и рассуждать.

Большой процесс обучения модели с многочисленными индивидуальными задачами и усовершенствованными машинами.,Поскольку время начала и окончания задач несовместимо.,Неизбежно возникнут проблемы фрагментации графического процессора, что приведет к сбою планирования задач. Платформа машинного обучения Volcano Engine агрегирует и уменьшает фрагментацию с помощью алгоритма рюкзака Binpack.,и используйте планировщик для периодического выселения,Значительно улучшить использование ресурсов графического процессора,Обеспечить быстрое выполнение поставленных задач. в то же время,Экземпляры эластичных вычислений на графическом процессоре могут гибко планировать ресурсы.,Бери на ходу,Максимум может бытьтемная сторона луныСэкономьте 70% затрат на вычислительную мощность。

Обучение Большой Модели — это итеративный процесс.,Нужны масштабные эксперименты. Платформа машинного обучения Volcano Engine поддерживает интерактивную отладку.,Интегрированные JupyterLab, TensorBoard, VSCode, инструменты управления экспериментами и т. д.,Помогите наблюдать различные показатели экспериментов. в то же время,Крупномасштабные задачи распределенного обучения могут вызвать проблемы с программным обеспечением, оборудованием, сетью и другие проблемы.,Volcano Engine предоставляет рядАвтоматизированный механизм процесса самовосстановления неисправностей,Например, автоматическая проверка медленных узлов, автоматическое обнаружение неисправностей, проверка ошибок и т. д.,Помогает существенно снизить влияние сбоев на задачи.

2

Маховик данных поддерживает обучение модели,

Достичь комплексного снижения затрат и повышения эффективности.

В сотрудничестве с Volcano Engine команда Dark Side of the Moon применила два основных продукта платформы цифрового интеллекта Volcano Engine: облачную платформу больших данных VeDI E-MapReduce и анализ роста DataFinder в сочетании с методологией маховика данных, чтобы значительно сократить на уровне активов данных это снижает затраты на предварительную обработку модели, а на уровне бизнес-приложений гарантирует точное размещение Кими и эффективное получение новых данных.

Маховик данных Volcano Engine — это новая парадигма модернизации цифрового интеллекта предприятия. Он подчеркивает потребление данных как основную движущую силу, полностью интегрируя поток корпоративных данных в бизнес-поток и реализуя эффект маховика информационных активов и бизнес-приложений.

Обучение больших моделей основано на массивных данных, а сам процесс обучения можно рассматривать как крупномасштабное потребление данных. В процессе предварительной обработки данных мультимодальной модели объем неструктурированных данных огромен, типы и форматы данных разнообразны, а процесс обработки данных сложен, что создает большие проблемы для планирования вычислений и пропускной способности хранилища кластера.

Volcano Engine через продукты E-MapReduce и сопутствующие решения,Унифицированное планирование вычислительных платформ Spark и Ray,Общие ресурсы кластера,Значительно повышает сложность и эффективность очистки данных.,Обеспечьте быструю и масштабную обработку огромных объемов документов.,Затраты на кластер снижены на 30 %,и быть в состоянии справиться с неожиданными требованиями задач,Ускорьте время онлайн-запуска Кими.

На бизнес-уровне для дальнейшего продвижения приложения Kimi Dark Side of the Moon необходимо быстро привлечь новых клиентов, обеспечивая при этом здоровый уровень рентабельности инвестиций в рекламу. С одной стороны, это способствует быстрому увеличению DAU Kimi, одновременно принимая во внимание. во внимание уровень удержания новых пользователей и обеспечение здоровья бизнеса. С одной стороны, это требует поддержки данных, и в то же время необходимы удобные и эффективные инструменты обработки данных, помогающие принимать бизнес-решения.

В сочетании с возможностями DataFinder для анализа роста Volcano Engine, Dark of the Moon оптимизирует весь путь пользователя продукта, выявляя точки остановки конверсии и точки высокой оттока, а также объединяет данные каждого узла для быстрого обнаружения, определения местоположения и решения проблем, чтобы обеспечить что пользователи испытывают и улучшают общее удержание. При этом с помощью функции мониторинга рекламных каналов DataFinder команда Dark Side of the Moon провела точный анализ эффективности рекламы, в дальнейшем оптимизировала рекламные материалы и сопутствующие мероприятия, а также обеспечила эффективность привлечения новых клиентов.

Платформа решения DataFinder для приложений Dark Side of the Moon

В будущем Volcano Engine и Dark Side of the Moon продолжат углублять сотрудничество, чтобы совместно преодолевать технические проблемы и еще больше помогать пользователям ускорять процесс ИИ. Volcano Engine также продолжит совершенствовать свою техническую мощь и уровень обслуживания, а также работать с партнерами, чтобы предоставить пользователям более высококачественный и интеллектуальный опыт искусственного интеллекта, чтобы помочь в инновациях и разработке приложений искусственного интеллекта.