Больше полезных товаров, доставленных в кратчайшие сроки

Большие языковые модели (LLM) стали частью нашей жизни и работы, изменив способ взаимодействия с информацией благодаря своей удивительной универсальности и интеллекту.

Однако, хотя их способности впечатляют, они не неуязвимы. Эти модели могут вводить в заблуждение. “галлюцинация”,Доверие к информации можетУстаревший,Когда речь идет о конкретных знанияхНе эффективен,отсутствие опытауглубленное понимание,В то же время существующему также не хватает способности к рассуждению.

В реальных приложениях данные должны постоянно обновляться, чтобы отражать последние разработки, а создаваемый контент должен быть прозрачным и отслеживаемым, чтобы контролировать затраты и защищать конфиденциальность данных. Поэтому просто полагаться на эти модели «черного ящика» недостаточно, нам нужны более сложные решения для удовлетворения этих сложных требований.

Именно на этом фоне возникла технология Retrival-Augmented Generation (RAG), которая стала основным трендом в эпоху искусственного интеллекта.

RAG Извлекая соответствующую информацию из обширной базы данных документов до того, как языковая модель сгенерирует ответ, а затем используя эту информацию для управления процессом генерации, точность и релевантность контента значительно повышаются. ТРЯПКА эффективноОблегчает проблему галлюцинации,улучшенныйскорость обновления знаний,и расширенный контентгенерироватьизПрослеживаемость,создание больших языков Модельсуществовать В практических приложениях становится все болееПрактичный и надежный。RAG Появление ИИ, несомненно, является одним из самых захватывающих событий в области исследований искусственного интеллекта.

Этот обзор даст вам полное представление о RAG,Изучите это подробноосновная парадигма、ключевая технологияибудущие тенденции,для читателейи Практики дают представление о крупных Модельки RAG обеспечить углубленное и систематическое понимание предмета, одновременно освещая последние достижения и ключевые проблемы в области технологий улучшения поиска.

Бумажная ссылка:

https://arxiv.org/abs/2312.10997

Официальный репозиторий:

https://github.com/Tongji-KGLLM/RAG-Survey

1. Что такое РАГ?

▲ Рисунок 1. Пример использования технологии RAG в вопросах обеспечения качества

Типичный случай RAG показан на рисунке. Если мы спросим ChatGPT о внезапном увольнении и последующем восстановлении в должности генерального директора OpenAI Сэма Атлмана всего за несколько дней. ChatGPT не может ответить из-за ограничений данных предварительного обучения и отсутствия знаний о последних событиях. RAG устраняет этот пробел, получая выдержки из последних документов из внешней базы знаний.

В этом примере он извлекает список новостных статей, связанных с запросом. Эти статьи вместе с первоначальным вопросом затем были объединены в обширную подсказку, позволяющую ChatGPT синтезировать обоснованный ответ.

2. Развитие технологической парадигмы RAG.

Концепция RAG была впервые предложена в 2020 году и с тех пор получила быстрое развитие. На рисунке показан процесс эволюции технологии RAG, а соответствующий прогресс исследований можно четко разделить на несколько ключевых этапов. На раннем этапе предварительного обучения исследования были сосредоточены на том, как внедрить дополнительные знания через предварительно обученную модель для расширения возможностей языковой модели.

С появлением ChatGPT возрос интерес к использованию больших моделей для глубокого контекстного обучения, что способствовало быстрому развитию технологии RAG в исследовательской области. Поскольку потенциал LLM продолжает использоваться для улучшения управляемости модели и удовлетворения растущих потребностей, исследования RAG постепенно сосредоточились на расширении возможностей вывода, а также на изучении различных методов улучшения процесса тонкой настройки.

Технология RAG претерпела глубокие изменения, особенно с выпуском GPT-4. Фокус исследований начал смещаться в сторону нового метода, который объединяет RAG и стратегии точной настройки, при этом постоянное внимание уделялось оптимизации методов предварительного обучения.

▲ Рисунок 2. Технологическое дерево развития технологии RAG

В процессе технологического развития RAG мы суммируем его на следующие этапы с точки зрения технической парадигмы:

Наивная ТРЯПКА

В предыдущем случае показан классический процесс RAG, также известный как Naive RAG. В основном он включает в себя три основных этапа:

1. Индексирование. Разделите библиотеку документов на более короткие фрагменты и создайте векторный индекс с помощью кодировщика.

2. Поиск. Извлечение соответствующих фрагментов документов на основе сходства вопросов и фрагментов.

3. Генерация. Генерация ответов на вопросы на основе полученного контекста.

Продвинутая тряпка

У Naive RAG есть несколько проблем, связанных с качеством поиска, качеством генерации ответов и процессом улучшения. Впоследствии была предложена парадигма Advanced RAG с дополнительной обработкой, выполняемой при индексировании, предварительном и последующем извлечении данных.

Повысьте согласованность, точность и эффективность поиска текста за счет более сложной очистки данных, проектирования структуры документа и добавления метаданных. На этапе предварительного поиска можно использовать переписывание, маршрутизацию и расширение вопросов для выравнивания семантических различий между вопросами и блоками документов. На этапе после извлечения феномена «потерянного посередине» можно избежать, переупорядочив полученную библиотеку документов. Или сократите длину окна с помощью контекстной фильтрации и сжатия.

Модульная ТРЯПКА

С дальнейшим развитием и развитием технологии RAG новые технологии выходят за рамки традиционной структуры поиска и генерации Naive RAG. На основе этого мы предлагаем концепцию модульной RAG. Он более свободен и гибок по структуре и содержит более конкретные функциональные модули, такие как запросы к поисковым системам и интеграция нескольких ответов. Технически он объединяет поиск с точной настройкой, обучением с подкреплением и другими технологиями. С точки зрения процесса модули RAG также спроектированы и организованы, и появилось множество режимов RAG.

Однако модульная RAG появилась не внезапно. Между тремя парадигмами существует связь наследования и развития. Advanced RAG — это особый случай Modular RAG, а Naive RAG — частный случай Advanced RAG.

▲ Рисунок 3. Сравнительная таблица парадигмы RAG

3. Как улучшить поиск?

RAG Система в основном состоит из трех основных частей, а именно: «Поиск», «Улучшение» и «генерировать». Это просто соответствует RAG три инициала . Хотите построить хороший RAG система,Улучшить часть ядра,то необходимо рассмотреть три ключевых вопроса：Искать что? Когда искать? Как использовать полученный контент?

Расширенные этапы извлечения：существоватьпредварительная подготовка、тонкая настройкаи Рассуждение может осуществляться на всех трех этапах.Поиск Усиливать,Это определяет степень параметризации внешних знаний.,Требуемые вычислительные ресурсы также различны.

Получить расширенные источники данных：Усиливать可к采用多种形式изданные,Включает неструктурированные текстовые,Например, абзацы текста, фразы или отдельные слова. также,Вы также можете использовать структурированные данные,Например, документы с индексом, тройками данных или подграфами. Другой способ – не полагаться на внешние источники информации.,И да дал полную свободу LLMs Врожденная способность извлекать данные из контента, созданного самой моделью.

Процесс улучшения поиска：первыйиз Поискдаразовый процесс,существовать RAG В процессе развития постепенно появились итеративный поиск, рекурсивный поиск и хендовер. LLMs Адаптивный метод поиска, который сам определяет время поиска.

▲ Рисунок 4. Система классификации основных компонентов РАГ

4. Как выбрать РАГ и тонкую настройку?

Кроме RAG,LLMs К основным средствам оптимизации также относится оперативное проектирование. (Prompt Инженерное дело), ​​тонкая настройка (Fine-tuning,ФТ). Все они имеют свои уникальные особенности. Различия в требованиях к корректировке, основанные на зависимости от внешних знаний и Модель,Для каждого есть своя подходящая сцена.

RAG Это все равно, что дать модели учебник по индивидуальному поиску информации, идеально подходящий для конкретного запроса. С другой стороны, Ф.Т. Точно так же, как ученик со временем усваивает знания и становится лучше приспособлен к имитации определенной структуры, стиля или формата. ФТ Вы можете повысить эффективность Модели, расширяя базовые знания Модели, корректируя выходные данные и обучая сложным инструкциям. Однако он не так хорош для интеграции новых знаний или быстрого повторения новых вариантов использования. ТРЯПКА и FT не являются взаимоисключающими, они могут дополнять друг друга и при совместном использовании могут обеспечить оптимальную производительность.

▲ Рисунок 5. Сравнение RAG и других технологий точной настройки больших моделей.

Как бы вы оценили RAG?

RAG можно оценить по-разному.,В основном включает в себя три показателя качества：Контекстуальная релевантность, точность ответа, релевантность ответа。также,Оценка также включает в себяи Четыре ключевые возможности：шумнадежность、умение отказаться от ответа、Информационная интеграция и контрфактическая надежность. Эти параметры оценки объединяют традиционные количественные показатели КГР. гармонизированы.

Что касается рамок оценивания, то существуют такие RGB и RECALL такие ориентиры, и RAGAS、ARES и TruLens и другие автоматизированные инструменты оценки, которые помогают всесторонне измерить RAG производительность модели. В таблице показано, как традиционные количественные показатели могут применяться к RAG оценка и различные RAG Содержание оценки структуры оценки, включая объекты оценки, измерения и индикаторы, обеспечивает глубокое понимание RAG Потенциальное применение модели производительности существования предоставляет ценную информацию.

5. Какие еще перспективы развития у РАГ в будущем?

Развитие РАГ находится на подъеме. Какие еще вопросы заслуживают дальнейшего исследования? Мы рассчитываем на три аспекта:

1. Вертикальная оптимизация RAG

Вертикальная оптимизация предназначена для дальнейшего решения проблем, с которыми в настоящее время сталкивается RAG;

большая длина текста。Поиск Слишком много контента,Что делать, если превышен лимит окна ? если LLMs Контекстное окно больше не ограничено, RAG Как его следует улучшить?

надежность。Поиск Как бороться с содержанием ошибок？Как правильно Поиск Отфильтровать контентипроверять？Как улучшить Модель Антитоксичный、Помехоустойчивость.

Работает с тонкой настройкой。Как играть в обе RAG и FT Как они сотрудничают и организуются? Это последовательно, попеременно или сквозно?

Scaling-Law：RAG Удовлетворяет ли модель Scaling Law？RAG Произойдет ли это или при каких обстоятельствах это произойдет? Inverse Scaling Law явление?

Роль магистра права。LLMs Может использоваться для поиска (с помощью LLMs генерация вместо поиска или поиска LLMs память), для генерации, для оценки. Как копать дальше LLMs существовать RAG потенциал?

инженерная практика。Как уменьшить очень большой корпусиз Поиск Задерживать？Как гарантировать Поиск Контент не будет большим, когда он выйдет.Модель Уступи дорогу？

2. Мультимодальное расширение РАГ

как RAG Постоянно развивающиеся технологии и идеи расширяются в другие формы, такие как изображения, аудио, видео или код? С одной стороны, одномодальные задачи могут быть усовершенствованы, с другой стороны, за счет; RAG Идея состоит в том, чтобы объединить несколько модальностей.

3. Экология РАГ

RAG Его применение больше не ограничивается вопросами и ответами, и его влияние распространяется на все больше областей. Сейчас существуют, система рекомендаций, извлечение информации и отчетность, а также многие другие задачи начали получать пользу от RAG Применение технологии.

Тем временем Р.А.Г. Стек технологий также находится на подъеме. Кроме известных Langchain и LlamaIndex и другие инструменты, на рынке появляются более целевые инструменты RAG инструмент,Например：Индивидуальное использование,Встречайте более сфокусированные сценыизнуждаться；Простота использования,Еще больше снизьте порог начала работы.из；Функциональная специализация,Постепенно знакомимся с производственной средой.

▲ Рисунок 6. Обзор экосистемы RAG