Datawhale с открытым исходным кодом

Вклад открытого исходного кода: команда Datawhale, занимающаяся самостоятельной съемкой

Предисловие

Буквально вчера компания Zhipu AI выпустила новейшую модель GLM4 с открытым исходным кодом, которая обеспечивает лучшие результаты генерации благодаря 10Т высококачественных многоязычных данных и более передовым технологиям обучения.

Имея всего 9B параметров, он добился лучших результатов в таких задачах, как китайский язык, длинный текст и вызов инструментов.

Более подробную информацию об оценке см.:

Хардкорная оценка последней версии GLM-4 с открытым исходным кодом! Оценка участника Datawhale на 10 000 слов (1)

Взгляд разработчика на GLM-4-9B! Оценка участников Datawhale на 10 000 слов (2)

Введение в учебник

Придерживаясь цели предоставления открытого исходного кода, члены команды Datawhale выпустили модель. 12 Час внутри, для Разработан полный набор методик обучения GLM-4, включающий:

1. Модель api развертывать；
2. Доступ к Лангчейну;
3. WebDemo развертывать；
4. vLLM развертывать；
5. Эффективная точная настройка инструкций LoRA。

Учебное пособиеобеспечивать код процесса снаружи,Он также вдумчиво предоставляет учащимсяданные обучения与 Образ среды Autodl,Удобно для обучающихсяОдин клик для запуска！！

Адрес проекта: https://github.com/datawhalechina/self-llm/tree/master/GLM-4

Текущий проект официально рекомендован компанией Zhipu к изучению:

Здесь мы извлекаем часть контента, чтобы каждый мог понять этот урок~

Эффективная точная настройка инструкций LoRA

Сначала данные точной настройки инструкций создаются путем анализа шаблона внедрения подслова. Учебное пособие обеспечивает встраивание соответствия путем визуального просмотра шаблона до и после кодирования и проверки номеров специальных подслов поочередно.

Затем посредством иерархического анализа Модели,суждениематрица высшего порядкаРасположение,таким образом используя PEFT Инструмент указывает слой преобразования низкого ранга и включает его. LoRA Тонкая настройка.

Наконец, проверьте эффект тонкой настройки:

User: Мисс, другие красавицы все просятся, чтобы их выбрали, а мы, мисс, хотим, чтобы нас выгнали. Бодхисаттва должна помнить Женженер...

Assistant: Бодхисаттвы тоже видят вещи неправильно.

Введение в проект

《Большая модель с открытым исходным кодом Путеводитель по еде》это окружениеБольшая модель с открытым исходным кодом、противОтечественные новички、на основе AutoDL Эксклюзивная платформа для китайских малышей Модель Учебное пособие, для всех видов Большая модель с открытым исходным кодом Предложения включают в себяКонфигурация среды、локальное развертывание、Эффективная точная настройкаждать Полное руководство процессом, включая навыки,упрощать Большая модель с открытым исходным процесс развертывания, использования и применения кода, чтобы больше обычных студентов и исследователей могли лучше использовать Большую модель с открытым исходным кодом,помощь Открытый исходный код, бесплатно большой Модель может быстрее интегрироваться в жизнь обычных учащихся.

удалять GLM4 Кроме того, проект поддержал LLama3, InternLM, Qwen1.5 ждать 20 предметовОткрытый исходный код Модельвесь процесс Учебное пособие,и,книгаэлемент Код проектаВсе с открытым исходным кодом！！Настройте пример вместеданные обучения,AutoDL зеркало окружающей долгождать, удобно использовать учащимся!

Проект уже реализован 4930 star~ садился много раз Github Trending список

Если вам это нравится, пожалуйста, поставьте нам звезду, чтобы помочь открыть исходный код (^▽^)

Конец статьи

Наконец, из-за нехватки времени и ограниченности энергии команды участников в руководствах неизбежно присутствуют некоторые упущения и даже ошибки. Мы надеемся, что учащиеся смогут активно давать нам предложения во время обучения или напрямую вносить свой вклад в проект. отшлифовать учебные пособия и подготовиться к будущему. Предоставляйте учащимся более качественный контент.

Адрес проекта: https://github.com/datawhalechina/self-llm/tree/master/GLM-4

Открытый исходный код вклад,Нравитьсязаглянуть↓