Два миллионера? Как?

Я написал статью некоторое время назад:#GPT4-Турбор 128к? Недостаточно? Недостаточно!Помнить GPT4-T Количество параметров контекста 128к, вот и все 100 10 000 английских символов, 50 Десять тысяч иероглифов кандзи, Кими как это сделать double из?

Действительно ли это возможно?

Есть ли конец расширению контекста?

Упоминалось в предыдущей статье RAG технология, т.е. Улучшения генеративного поиска,это может пройти API Звоните, запрашивайте страницы или читайте файлы, оптимизируйте извлекаемые данные, уменьшайте сортировку текста или тегов, сохраняя при этом необходимую информацию, затем используйте разделитель текста для преобразования документа в абзацы и блоки кода, определите размер каждого абзаца, затем выполните семантическую индексацию; и сохраняются в базе данных векторов; перед ответом на пользовательский контент блоки абзацев, семантически соответствующие первоначальному запросу пользователя, выбираются и вставляются в подсказку.

На просторечии это означает сегментацию, анализ, взвешивание и вставку контекстных подсказок в подсказки. Итак: если длину контекста можно бесконечно расширять, имеет ли технология RAG смысл?

image.png

Принцип Кими,Официальный сайт объясняет：# Kimi Chat Объявление результатов длиннотекстового стресс-теста «иголка в стоге сена»

«Игла» здесь — это ядро ​​«большой контекстной подсказки», ядро, которое нам нужно извлечь и проанализировать:

Есть интересные данные:

1. GPT-4 Turbo (128К) имеет плохую точность, когда длина корпуса превышает 72К и предложение («игла») скрыто в заголовке текста. (Это также то, что мы упоминали ранее)

2. Кажется, что Клод 2.1 имеет низкую точность после того, как длина корпуса превышает 20 КБ, и точность особенно низкая, когда предложение (игла) спрятано в передней части корпуса.

Результаты испытаний Кими Чата в эксперименте «Иголка в стоге сена» следующие:

Результаты тестов Кими на удивление хороши!

Итак... что именно Кими сделал правильно?

Чиновник ничего вразумительного не сказал, но в итоге дал такое заключение:

Конкретные детали технической реализации лежат в основе большого количества сложных инженерных оптимизаций и инновационных алгоритмов. Это также является основным техническим барьером команды Кими и неизвестно.

Ответ внутреннего участника:

думать:

Каким будет будущий конкурс крупных моделей? Два момента:

1. Точность данных – различные отрасли

2. Вычислительная мощность и возможности синтаксического анализа — здесь даже контекстный анализ большого текста!