1. Знакомство с окружающей средой

Служба высокопроизводительных приложений HAI имеет богатый набор предустановленных приложений, которые могут быстро превратить передовые модели сообщества с открытым исходным кодом в ваши собственные методы развертывания, которые можно запускать и использовать «из коробки» всего одним щелчком мыши. Теперь поддерживается поиск входа в такие приложения, как Llama 3.1, в приложении сообщества на странице покупки HAI. После простого выбора вы можете запустить сервис вывода одним щелчком мыши.

Знакомство с проектом чата

В этом проекте используются идеи Лангчейна для реализации приложения вопросов и ответов на основе местной базы знаний. Поддерживает основной поток с открытым исходным кодом на рынке. LLM、 Embedding База данных моделей и векторов,Все доступноОткрытый исходный кодМодельАвтономное частное развертывание。в то же время,Проект также поддерживает вызов OpenAI GPT API.

Принцип реализации проекта показан на рисунке ниже. Процесс включает в себя загрузку файлов. -> читать текст -> сегментация текста -> Векторизация текста -> векторизация вопросов -> Сопоставьте текстовый вектор, который наиболее похож на вектор вопроса. top к -> Соответствующий текст добавляется в качестве контекста вместе с вопросом. в оперативном режиме -> Отправить в LLM генерирует ответы.

Отображение эффекта завершения развертывания

2. Инструкция по применению

1. Войдите на страницу покупки HAI, выберите приложение сообщества «Langchain-Chachat-llama3.1» и создайте экземпляр. После создания экземпляра нажмите на метод подключения вычислительной мощности, выберите jupyterlab и войдите в терминал. Скопируйте и вставьте приведенный ниже код в терминал и нажмите Enter для выполнения. Когда вы увидите содержимое, показанное на рисунке ниже, это означает, что запуск приложения завершен.

export CHATCHAT_ROOT=/root/chatchat_data
chatchat init
chatchat kb -r
chatchat start -a

2. Используйте общедоступный IP-адрес экземпляра вместо 0.0.0.0 в URL-адресе и вставьте его в панель навигации, чтобы получить к нему доступ. Локальные файлы могут быть загружены по запросу для взаимодействия с вопросами и ответами.

Приложение: Несколько поз для использования llama3.1 на HAI

Тестирование модели

Вы можете быстро протестировать эффективность модели вопросов и ответов на основе базовой среды llama3.1 в HAI.

Тонкая настройка

Путем дальнейшего обучения модели llama3.1 на данных для конкретной задачи или области сделайте ее более подходящей для конкретных приложений. Например, текстовые данные, специфичные для предметной области, можно использовать для точной настройки модели для повышения ее производительности в этой предметной области.

Mount RAG (дополненная генерация извлечения)

Сочетание технологии поиска информации и технологии генерации позволяет модели извлекать соответствующую информацию и генерировать более точные ответы при ответе на вопросы. Этот подход обычно используется для задач, требующих получения точной информации в режиме реального времени.

Интеграция внешних баз знаний

Объединение моделей с внешними базами знаний, такими как графики знаний, позволяет им использовать структурированные данные для предоставления более точных и полных ответов.

Более

Разработайте агент на основе llama3.1, разверните его в HAI в виде API и подключите к своему приложению, чтобы облегчить разработку приложения.