🍉 CSDN Е Тингюнь：https://yetingyun.blog.csdn.net/

1. Предисловие

в последнем OpenAI чиновник APIs В документации Создать chat completion Добавлено в top_logprobs и logprobs эти два ключевых параметра.

чиновник Адрес документа：https://platform.openai.com/docs/api-reference/chat/create

• logprobs：Вернуться ли output tokens вероятность изLog (логический тип, по умолчанию False）。если правда,Затем верните содержимое сообщения и верните каждое output token из логарифма Вероятность в настоящее время. gpt-4-vision-preview Модель пока не поддерживает эту опцию.
• top_logprobs：一个介于 0 приезжать 5 междуизцелое число,указан в каждом token Местоположение возвращается скорее всего из tokens,并且каждый token Есть связьиз Логарифм Вероятность.Если используетсяэтотпараметр,logprobs должен быть установлен на True。

Очевидно, что эти два параметра предназначены для совместной работы. Теоретически отрегулировать top_logprobs и logprobs не должно приводить к выводу tokens количество, тем самым избегая дополнительных API Стоимость звонка.

2. Основное содержание

Интерфейс API модели OpenAI из GPT добавляет параметры top_logprobs и logprobs, которые помогают нам понять и отладить выходные результаты больших моделей.,Облегчить проблемы с галлюцинациями,Повышение уверенности в результатахинадежность。

Ключевые моменты, которыми стоит поделиться:

• OpenAI из GPT Модель API интерфейс Новыйиз top_logprobs и logprobs Параметры помогают понять и отладить выходные данные Моделиза большого языка. вернуть каждый token и его последующая деятельность n слово из вероятности, чтобы определить, следует ли выводить результаты галлюцинаций.
• Использование этих двух параметров облегчает большую проблему модельных галлюцинаций. Установив соответствующий temperature цените и наблюдайте за каждым token из вероятности,Вывод суждения на основе определенности и надежности,Избегайте противоречивых результатов.
• В практических приложениях эти два параметра очень ценны. Приложения чата могут устанавливать более высокое значение температуры для увеличения разнообразия, отвечая на научные вопросы, могут устанавливать более низкое значение температуры, чтобы избежать дезинформации;
• top_logprobs и logprobs Параметры улучшают управляемость больших приложений Модель, которые ранее были недоступны для каждого token Местоположение возвращается скорее всего из tokens。
• Получение результатов посредством объяснения затруднений имеет определенную прикладную ценность в зависимости от каждого. token из Логарифм Вероятность计算困惑度,Вывод решенияизуверенность。
• Эти два параметра уменьшают проблему галлюцинаций.,Повышение уверенности в результатах,Повысьте Модельиз практичность и надежность. в практическом применении,Параметры могут быть установлены в соответствии с потребностями и сценариями.,Для достижения наилучшего выходного эффекта и эффекта применения.

этот Notebook Продемонстрировано в разделе «Создание chat completion Используется в API logprobs параметр. Включено logprobs, тогда API Воля Вернуть каждый вывести токен из логарифмической вероятности, и в каждой позиции токена наиболее вероятное из конечного числа токенов и их логарифма Вероятность.logprobs из Ключевые моменты:

• Более высокая логарифмическая вероятность указывает на то, что в этом контексте token Это более вероятно для генерации из.
• logprob может быть любым отрицательным числом или 0,0, что соответствует 100% вероятности.
• logprobs позволяет нам рассчитать как логарифм вероятности из одного token из общего числа и из последовательности из совместной вероятности。
• Кроме того, он также уделяет внимание logprobs существовать Классификационные задачи, рейтинг поиска и автозаполнение в приложении, а также способы их выполнения на основе logprobs Оцените степень уверенности Модельиз, насколько хорошо она отражает конкретную проблему.

3. Резюме

В этом блоге используйте API Chat Completions из параметров logprobs и top_logprobs для получения. получение токенов из вероятностной информации и способы использования этой информации для достижения различных сценариев применения. Основные тезисы этого блога:

• параметр logprobs из функции：logprobs Параметры могут быть API Вернуть каждый вывод token из логарифмической вероятности, и каждый token Должность, скорее всего, у нескольких кандидатов tokens 及其Логарифм Вероятность.Эта информация может помочь пользователям оценить Модельиз Уверенность,Найдите альтернативные ответы на «Модельиз»,Вычислите общую вероятность выходной последовательности из,А также обработка специальных символов или смайлов и т. д.
• Параметр logprobs из варианта использования：logprobs Параметры можно использовать в различных сценариях, таких как:
  • Классификационные задачи：logprobs Параметры могут предоставлять прогнозируемые вероятности для каждой категории, позволяя пользователям устанавливать собственную классификацию или пороговые значения достоверности.
  • Поисковые задачи：logprobs Параметры можно использовать для самостоятельной оценки того, содержит ли полученный контент достаточно информации для ответа на вопрос, тем самым уменьшая иллюзии, связанные с поиском, и повышая точность.
  • Автоматизируйте задачи：logprobs Параметры можно использовать для динамической рекомендации следующего слова или токен, но только тогда, когда Модель абсолютно уверена в следующем слове.
• байтовый параметр из функции：bytes Параметры можно Вернуть каждый вывод token из ASCII (десятичный utf-8) значения, которые можно использовать для кодирования и декодирования каждого токен, особенно если он содержит смайлы или специальные символы из token。

📚️ Справочные ссылки:

• Недавно добавлен интерфейс OpenAI из GPT Model API из top_logprobs и logprobs Каково использование этого параметра? Почему говорят, что это может облегчить проблему галлюцинаций большой Модели?
• OpenAI Cookbook - Using logprobs
• API reference - Create chat completion
• Шун Сянъян: С уважением. AI Время из нас —— Пожалуйста, не игнорируйте прелесть письма