## поисковая Как работает система

Пользователь вводит запрос в поле поиска, поисковая система возвращает несколько документов и представляет их пользователю по порядку. С момента нажатия пользователем кнопки поиска до просмотра окончательных результатов поиска проходит около сотен миллисекунд. В этот период поисковая система выполнила множество вычислений, и мы называем эту серию шагов расчета «поисковая». системасвязь”。поисковая Системная связь обычно имеет трехуровневую структуру воронки: прослушивание отзыва, грубый отбор и точный отбор.

**поисковая Системная ссылка в основном состоит из трех основных этапов: **

1. **Обработка текста запроса (Query Processing）**
    
    - **Сегментация слов.** Разделите слово запроса на несколько слов, например разделите слова «рекомендация по зимней толстовке» на слова «зима», «толстовка» и «рекомендуется». Методы глубокого обучения, такие как BERT, показали хорошие результаты в задачах сегментации слов.
    - **Вес слова:** вычисление важности каждого слова в слове запроса, используемом для стратегии потери слов при вызове текста. Вес слов можно определить с помощью аннотации вручную или с помощью машинного обучения. Модель.
    - **Переписывание слова запроса.** Создавайте другие выражения с тем же семантическим значением, что и исходное слово запроса, например переписывая «побочные эффекты» на «побочные реакции». Переписывание слов запроса может быть основано на правилах, списках синонимов, списках гипонимии или может быть создано с использованием модели глубокого обучения.
    - **Идентификация намерения.** Определите цель запроса пользователя, например, хочет ли пользователь найти близлежащие рестораны или узнать об определенном новостном событии. Сюда входит чувствительность ко времени, которая проверяет, предпочитает ли пользователь новый контент (например, «последние новости»), и региональное намерение, которое учитывает местоположение пользователя и географическую значимость документа (например, «рестораны рядом со мной»).
2. **Извлечение**
    
    - **Воспоминание текста:** Это самый основной и важный канал воспоминания. При вызове текста в основном используется инвертированный индекс, структура данных, которая записывает «слово → список документов, содержащих это слово». Учитывая термин запроса, система сначала сегментирует его на слова, а затем использует инвертированный индекс для поиска документов, содержащих эти слова. Чтобы улучшить скорость запоминания, производится расширение синонимов, например, «зима» расширяется до «зима». Кроме того, при вызове текста также необходимо учитывать расстояние между словами, а также вес слов, чтобы исключить нерелевантные документы.
    - **Векторный отзыв:** Это важная схема отзыва, появившаяся в последние годы. Она преодолевает ограничения отзыва текста и может вызывать документы, которые семантически связаны, но не соответствуют тексту. Суть векторного вызова заключается в представлении слов запроса и документов в виде векторов соответственно, а затем вычислении сходства между векторами. Система предварительно вычисляет векторные представления всех документов и использует технологию индексации приближенного ближайшего соседа (ANN) для ускорения процесса поиска. Векторное запоминание можно разделить на корреляционное запоминание и персонализированное запоминание. Разница между ними заключается в разных целях обучения. Модель. Первое соответствует показателю корреляции, а второе — поведению пользователя.
    - **Отзыв офлайн:** Это решение использует простаивающие вычислительные ресурсы для получения высококачественного индекса «слова запроса → список документов» в автономном режиме для онлайн-воспоминания. Существует множество методов офлайн-запоминания, таких как: анализ журналов воздействия, использование документов с высоким рейтингом и высоким рейтингом кликов на страницах результатов онлайн-поиска для создания индексов, выполнение поисковых ссылок в автономном режиме, вызов и сортировка большого количества терминов запроса; и сортировка. Результаты сохраняются в виде индексов; используйте модель NLP, например doc2query, для поиска терминов запроса, тесно связанных с документом в автономном режиме, и создания индекса.
3. **Сортировать (Ranking)**
    
    - **Вспомнить прослушивание:** Быстро извлекайте десятки тысяч документов из сотен миллионов библиотек документов, используйте простые правила и правила для оценки документов и выбирайте тысячи документов с наивысшими оценками для перехода на следующий уровень сортировки. Чтобы контролировать объем вычислений, при напоминании о релевантности прослушиваний обычно используются башни-близнецы для сопоставления слов запроса и документов с векторным пространством соответственно и расчета векторного сходства. Модель рейтинга кликов также использует структуру с двумя башнями, которая использует характеристики пользователя, характеристики слова запроса и характеристики документа для оценки вероятности клика пользователя. Прослушивание припоминаний может проводиться с использованием правил или простого линейного слияния оценок корреляции и других характеристик или без модели слияния.
    - **Грубый ряд:** Выберите сотни документов из тысяч документов, полученных в ходе повторного прослушивания, в качестве набора кандидатов для получения высокого рейтинга. При грубом скрининге используется немного больший размер модели, чтобы более точно оценить релевантность документа условиям запроса и оценить вероятность клика пользователя, чем при повторном прослушивании. На грубом этапе ранжирования можно использовать глубокую нейронную сеть (DNN) или модель BERT для расчета показателя релевантности, а также модель DNN для оценки рейтинга кликов. Модель Fusion обычно использует модель GBDT для объединения релевантности, рейтинга кликов и других функций для получения окончательного балла.
    - **Тонкий ряд:** Fine Ranking использует глубокие нейронные сети для оценки сотен документов, сортировки их по степени слияния и, наконец, отображения на странице результатов поиска. Модель, используемая для точного ранжирования, является самой крупной. Вы можете использовать модель BERT для расчета корреляции и модель DNN для оценки рейтинга кликов. Модель Fusion обычно использует модель GBDT, которая объединяет несколько показателей, таких как релевантность, рейтинг кликов, качество контента, своевременность, региональность, персонализация и т. д., чтобы в конечном итоге определить рейтинг документов.

**Технология искусственного интеллекта находится в поиске Применение в программе отзыва системы: **

- **Причастие:** Разделите слово запроса на несколько слов, например разделите «рекомендация по зимней толстовке» на «зима», «толстовка» и «рекомендуется». Методы глубокого обучения, такие как BERT, показали хорошие результаты в задачах сегментации слов.
- **Вес слова:** Рассчитайте важность каждого слова в запросе для использования в стратегии удаления слов при вызове текста. Вес слов можно определить с помощью аннотации вручную или с помощью машинного обучения. Модель.
- **Слово запроса переписано:** Создайте другие выражения, имеющие ту же семантику, что и исходный термин запроса, например, замените «побочные эффекты» на «побочные реакции». Переписывание слов запроса может быть основано на правилах, списках синонимов, списках гипонимии или может быть создано с использованием модели глубокого обучения.
- **Модель семантического соответствия:** При вызове векторов слова запроса и документы встраиваются в векторное пространство и вычисляется сходство векторов. Обычно используемые модели включают модель башен-близнецов, BERT и т. д.
- **Приблизительный поиск ближайшего соседа (ANN):** Он используется для вызова векторов, чтобы быстро найти документы, наиболее похожие на представление вектора слова запроса в крупномасштабных библиотеках документов.

Совместное использование решений множественного отзыва и технологии ИИ может улучшить поисковую Отзыв системы Ставка,Представляйте пользователям более актуальные документы.

Следует отметить, что,Предоставленная информация не детализирует конкретный Модельный план для каждого этапа трехуровневой воронки.,Например, используемая структура модели BERT, количество слоев и функций активации модели DNN, количество и глубина деревьев модели GBDT и другая информация. Если вам нужно знать эти детали,Возможно, потребуется обратиться к другим источникам. Готовый продукт: