Part1DB-GPT

DB-GPT[1] это большая модель, использующая локальное (или онлайн) API) и взаимодействие данных из проекта с открытым исходным кодом,Demo[2] используется в ChatGPT 3.5 Интерфейс очень привлекательный.

demo

Начнем с Тонги Цяньвэнь [3] Например, попробуйте использовать отечественную большую модель в DB-GPT Можно ли добиться подобного эффекта.

Часть 2 API Тонги Цяньвэнь

пройти API Чтобы использовать модель Tongyi Qianwen, вам необходимо настроить ее в сервисе моделей Alibaba Cloud Lingji. Активируйте DashScope и создайте API-KEY[4],получать sk-xxxxx Отформатированный API-KEY。

После активации вы получите Тонги Цяньвэнь. qwen-turbo и qwen-plus Две модели[5] из Разрешение на вызови Срок действия 180 Божий 200w/100w token подсчет Бесплатная квота[6]：

models

quota

API-KEY Количество звонков можно узнать в Статистика звонков[7] Посмотреть в.

Part3DB-GPT построен с использованием среды API Tongyi Qianwen.

использовать Установка исходного кода[8] способ построить DB-GPT v0.4.0 Версия рабочей среды, сначала загрузите исходный код:

$ git clone https://github.com/eosphoros-ai/DB-GPT.git
$ cd DB-GPT
$ git checkout v0.4.0

Затем установите зависимости:

# python>=3.10
$ conda create -n dbgpt_env python=3.10
$ conda activate dbgpt_env
# it will take some minutes
$ pip install -e ".[default]"

Использовать шаблон создает файл переменной среды:

cp .env.template .env

Исправлять .env Следующее содержимое файла конфигурации называется «использовать». API：

LLM_MODEL=tongyi_proxyllm
# qwen-turbo or qwen-plus
PROXYLLM_BACKEND=qwen-turbo
LANGUAGE=zh
TONGYI_PROXY_API_KEY=sk-xxxxxxxxx

Затем запустите службу DB-GPT:

python pilot/server/dbgpt_server.py --port 5050

использоватьсуществовать线 API, локальный не требуется графический процессор. После успешного запуска браузер обращается к http://localhost:5050 即可использовать DB-GPT Поговорите с интерфейсом Тонги Цяньвэнь:

hello1

hello2

Part4Chat Excel

Давайте попробуем дальше Chat Excel Функция. Входить Chat Excel После сцены вам нужно сначала загрузить ее Excel или CSV документ. использовать Демонстрацию из example.xlsx[9]：

example

excel learning

Видно, что Тонги Цяньвэнь в основном проанализировал содержимое данных в загруженном файле, но есть некоторые небольшие недостатки, такие как количество полей и несуществующие поля в структуре данных.

1 вопрос

Продолжайте разговор, и вы обнаружите, что независимо от того, о чем вы спрашиваете, вы получаете ответ: InvalidParameter:User and assistant need to appear alternately in the message Сообщение об ошибке.

7f5bd8d1

Я создал Issue #756[10] описывает это явление, этот вопрос будет рассмотрен в 0.4.1 Исправлено в версии.

2 метода коррекции

Если вы хотите временно решить эту проблему локально, вы можете воспользоваться следующим методом:

diff --git a/pilot/model/proxy/llms/tongyi.py b/pilot/model/proxy/llms/tongyi.py
index fb826e49..13031e96 100644
--- a/pilot/model/proxy/llms/tongyi.py
+++ b/pilot/model/proxy/llms/tongyi.py
@@ -36,7 +36,7 @@ def tongyi_generate_stream(
         if message.role == ModelMessageRoleType.HUMAN:
             history.append({"role": "user", "content": message.content})
     for message in messages:
-        if message.role == ModelMessageRoleType.SYSTEM:
+        if message.role == ModelMessageRoleType.SYSTEM or message.role == ModelMessageRoleType.HUMAN:
             history.append({"role": "user", "content": message.content})
         # elif message.role == ModelMessageRoleType.HUMAN:
         #     history.append({"role": "user", "content": message.content})
@@ -45,17 +45,24 @@ def tongyi_generate_stream(
         else:
             pass
 
-    # temp_his = history[::-1]
-    temp_his = history
+    temp_his = history[::-1]
     last_user_input = None
     for m in temp_his:
         if m["role"] == "user":
             last_user_input = m
             break
 
-    if last_user_input:
+    temp_his = history
+    prompt_input = None
+    for m in temp_his:
+        if m["role"] == "user":
+            prompt_input = m
+            break
+
+    if last_user_input and prompt_input and last_user_input != prompt_input:
         history.remove(last_user_input)
-        history.append(last_user_input)
+        history.remove(prompt_input)
+        history.append(prompt_input)
 
     gen = Generation()
     res = gen.call(

Причина ошибки - Тонги Цяньвэнь. API Во время разговора необходимо user и assistant Эти две роли чередуются, и user Говори первым. И в tongyi.py[11] в, перешел к LLM Server из messages заключается в том, чтобы внести диалог в историю human Ролевая фильтрация контента,system Часть слова подсказки такая: user Содержимое персонажей перенесено в конец, в результате чего assistant предшествовать user говорил, например:

msg-stack

Приведенный выше метод из Исправлять изменяет стек сообщений из режима преобразования на сохраненный. human Информация о роли, кроме первой system За исключением сохраненной ролевой информации, остальная часть system и human Информация о персонаже user Роль,ai Персонаж Исправлять assistant роль, затем удалите последнюю user сообщение и будет первым user Сообщение (слово подсказки генерируется на основе последнего ввода пользователем информации, использовать сцену из шаблона слова подсказки) перемещается в конец стека сообщений.

3 эффекта

Посмотрите на эффект после Исправлять:

after

Просмотрите статистику в WPS, соответствующую информации в гистограмме:

stat

А жаль, пользуйся demo Содержание диалога между Китаем и З —— Проанализировать сравнение продаж и прибыли различных отделов продаж и отобразить это в виде гистограммы Тунъи Цяньвэнь все еще не может этого понять. ChatGPT 3.5 из Эффект:

tongyi

Ссылки

[1]

DB-GPT: https://github.com/eosphoros-ai/DB-GPT

[2]

Demo: https://github.com/eosphoros-ai/DB-GPT#demo

[3]

Тонги Цяньвэнь: https://qianwen.aliyun.com/

[4]

Активируйте DashScope и создайте API-KEY: https://help.aliyun.com/zh/dashscope/developer-reference/activate-dashscope-and-create-an-api-key

[5]

Две модели: https://help.aliyun.com/zh/dashscope/developer-reference/api-details?disableWebsiteRedirect=true

[6]

Бесплатная квота: https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-thousand-questions-metering-and-billing

[7]

Статистика звонков: https://dashscope.console.aliyun.com/dashboard

[8]

Установка исходного кода: https://db-gpt.readthedocs.io/en/latest/getting_started/install/deploy.html

[9]

example.xlsx: https://github.com/eosphoros-ai/DB-GPT/blob/main/docker/examples/excel/example.xlsx

[10]

Issue #756: https://github.com/eosphoros-ai/DB-GPT/issues/756

[11]

tongyi.py: https://github.com/eosphoros-ai/DB-GPT/blob/v0.4.0/pilot/model/proxy/llms/tongyi.py