01 – Что такое плагин большой модели?

Плагины соединяют большие модели со сторонними приложениями. Большие модели служат мозгом, глазами и руками больших моделей. Они могут помочь большим моделям расширить возможности больших моделей. расширяйте сценарии применения, выполняя задачи, которые не могут быть выполнены с помощью возможностей создания больших моделей.

• Плагин для улучшения информации: может помочь пользователям получать информацию в режиме реального времени и профессиональную информацию.,Например, цены на акции, последние новости и т. д.
• Плагин по улучшению сервиса: он может помочь пользователям автоматизировать некоторые общие задачи, такие как бронирование авиабилетов, заказ еды и т. д.;
• Плагин улучшения взаимодействия: база знаний может быть прочитана、PDF、картина、Мультимодальный ввод, такой как голос и генерация таблиц.、Мультимодальный вывод, такой как интеллект-карты

Расширьте возможности ключевых областей и обогатите возможности больших моделей с помощью подключаемых модулей.

Чтобы улучшить взаимодействие с пользователем продуктов искусственного интеллекта, плагины фокусируются на требованиях небольших сцен, объединяют возможности приложений больших моделей с внешними приложениями, расширяют возможности и сценарии приложений больших моделей и используют возможности больших моделей для завершения задачи, которые не могли быть выполнены раньше.

Что касается повышения производительности за счет плагинов, ChatGPT в основном представляет внешние плагины, которые обогащают сбор данных ChatGPT и расширяют его возможности. AI PDF, AskTheCode, WebPilot и другие плагины ChatGPT помогают пользователям получать данные в реальном времени или профессиональные данные при общении с большими моделями.

[Самостоятельный плагин]первыйChatGPTизDALL·E、Web browsing、Data Analysis Он будет использоваться как плагин и постепенно интегрироваться в ChatGPT в ходе последующей разработки.

[Сторонние плагины]Использование сторонних разработчиков посредством установкиплагин,И знакомьте пользователей с ТОП-30 рекомендуемыми популярными продуктами и новейшими стратегиями развития продуктов.

Вэнь Синьиян использует собственный метод + сторонний метод для расширения возможностей данных больших моделей и сценариев приложений, таких как AI PPT Baidu, запрос бизнес-информации, энциклопедия, академический поиск и т. д., чтобы расширить объем данных и обеспечить творческий подход. улучшение.

[Самостоятельный плагин]Байду Самодельныйплагинобъединить Байду内部из技术和данные Используйте преимущества：

• E-Word Easy Picture: библиотека визуализации с открытым исходным кодом, разработанная Apache Echarts для Байду.,Для создания интерактивных диаграмм и визуализации данных;
• Байду Ассистент по академическому поиску、Энциклопедия одноклассников: с помощью Байду академик、Байду百科изданные进行内容из检索,Получайте информацию в режиме реального времени и расширяйте объем данных;

[Сторонние плагины]Классифицировать по различным функциям,в качестве информационного помощника、Информационный запрос、Повышение эффективности、Улучшения создания и т. д.

Сходства между ChatGPT и плагином, созданным Вэнь Синьианом:Самодельный实时信息检索、данныеанализировать、AI живопись и т. д. подключить

[Возможные причины]

• Большая модель обучается с использованием информации из исторических данных.,Самостоятельный поиск информации в режиме реального времени может помочь пользователям получать более своевременную и профессиональную информацию.
• Плагин анализа данных может улучшить функциональность больших моделей.,Позволяет большой модели выполнять сложные задачи обработки и анализа данных.,Тем самым повышая эффективность работы пользователя. Для пользователей, которые работают и учатся,анализ данных может служить практическим инструментом.
• Интеграция рисования с помощью искусственного интеллекта может расширить сферу применения больших моделей.,Сделайте это больше, чем просто обработка текста и управление беседами,Улучшите творческое выражение,Улучшите интерактивный опыт,Сделайте Большую Модель комплексным и разнообразным инструментом.

02—Как использовать плагин?

Как использовать плагин Wen Xin Yi Yan:

Вэнь Синь И Ян может выбрать от 1 до 3 плагинов для использования.

Процесс вызова плагина:

• Регистрация плагина: вы также можете зарегистрировать манифест плагина для Вэнь Синьияна.,ManifestВ основном файл содержит：
  • Название штекера: используется в модели,например, бизнес Информационный запрос、AIPPT.cn и т. д.;
  • Описание плагина: Опишите основные возможности плагина.,Сценарии использования и т. д.,Запускает ли анализ ссылок для Модели плагин;
  • API、тип штекера;
• анализ плагинов: система плагинов Wen XiNYyan запускает модуль анализа,Запрос идентификации пользователя,И выбираем какой плагинAPIинтерфейс и естественный язык параметров в файле манифеста,И генерировать вызовы API для подключения;
• триггер плагина: используйте сгенерированный API,вызвать плагин,После того как служба плагина завершила обработку,Верните jsonданные, а затем обработайте их Вэнь Синьиян.

Использование плагина ChatGPT:

ChatGPT также может выбрать от 1 до 3 плагинов.

Процесс вызова плагина:

• Плагин регистрации: зарегистрировать один или несколько портов API.,и создайте файл манифеста,Файл манифеста содержит：
  • имя плагина、Logo、проверка личности;
  • API и описание порта на естественном языке;
• Вызов плагина: описание данного API на естественном языке на основе его спецификаций и того, когда использовать API.,Модель автоматически вызовет API для выполнения операции.

Текущее использование плагина заключается в том, что пользователь активно выбирает 3 для использования, а затем автоматически планирует Модель.,И проблема, которая существует, когда плагинов становится все больше и больше.,Пользователям сложно захотеть вызвать конкретный плагин во время использования, а плагинов слишком много, и они не знают, какой из них выбрать.

03 – Как реализовать в плагине несколько раундов диалога?

План многораундового диалога с плагином Wen Xin Yi Yan:

• плагин — это зарегистрированный API-интерфейс,В основном он получает результаты возврата вызовов API, сгенерированного Вэнь Синь И Яном, а затем суммирует и обрабатывает Вэнь Синь И Янь;
• Контекстом плагина единообразно управляет Вэньсинь Иян;
• Вэнь Синьянь понимает семантику многократных раундов диалога,Содержит контекстную семантику в интерфейсе API, который генерирует вызовы плагина при вызове плагина.,плагин возвращает контент на основе запроса интерфейса;

Пример процесса:

1. Tencent: Попросите Вэнь Синь Ияна сгенерировать;
2. Уставный капитал: запросить информацию о бизнесе,И передайте Tencent в контексте в плагин;
3. Нарисуйте интеллектуальную карту, чтобы представить ее: запросите древовидную карту TreeMind.,И передайте Tencent в контексте в плагин;

Решение для многораундового диалога подключаемого модуля ChatGPT:

• Вызов плагина ChatGPT заключен в белый прямоугольник;
• ChatGPT выполняет контекстное понимание на основе ввода пользователя.,Автоматически вызывать нужный плагин на основе ввода пользователя,И инициировать запрос на основе скомпилированной информации.

Пример процесса:

1. Предоставьте соответствующие знания о транспортных средствах на новой энергии: запросите ChatGPT
2. Нарисуйте интеллектуальную карту на основе приведенной выше информации: Запросите диаграммы ИИ.

Большая модель эквивалентна вызывающей стороне интеллектуального API. Плагин — это зарегистрированный интерфейс API. Контекст плагина единообразно управляется большой моделью. Большая модель анализирует, на основе чего вызывается плагин. вопросы пользователя и понимает актуальность интеллектуально сгенерированного запроса на основе контекстного содержания.