Примечание о прозрачности: Поиск с использованием ИИ Azure

Обогащение данных с помощью ИИ — это использование моделей машинного обучения из инструментов Foundry для работы с содержимым, которое трудно поддается поиску в необработанном виде. Посредством обогащения, анализа и вывода создаются содержимое и структура, доступные для поиска, где ранее их не существовало.

Обогащение ИИ является необязательным расширением конвейера индексатора Поиск с использованием ИИ Azure, который подключается к Средствам Foundry в том же регионе, где находится служба поиска клиента. Конвейер обогащения имеет те же основные компоненты, что и типичный индексатор (индексатор, источник данных, индекс), а также набор навыков, указывающий этапы атомарного обогащения. Набор навыков можно собрать с помощью встроенных навыков на основе API средств Foundry, таких как Распознавание и язык, или пользовательские навыки , которые выполняют внешний код, предоставляемый вами.

Векторный поиск — это метод получения информации, в котором документы и запросы представлены в индексе в виде векторов вместо обычного текста. В векторном поиске модели машинного обучения, размещенные вне Поиск с использованием ИИ Azure, создают векторные представления исходных входных данных, которые могут быть текстом, изображениями, аудио или видеоконтентами. Это математическое и нормализованное представление содержимого, называемое векторными внедрениями, предоставляет общую основу для сценариев поиска.

Если все является вектором, запрос может найти совпадение в векторном пространстве, даже если связанное исходное содержимое находится в другом типе мультимедиа, например изображения и текст или язык, чем запрос. Поисковая система сканирует индекс, который ищет векторный контент, который наиболее похож, т. е. ближайший к вектору в запросе. Сопоставление с математическим векторным представлением вместо ключевых слов значительно увеличивает вероятность нахождения совпадений, которые имеют схожее семантическое значение, но текстуально различны, например, "автомобиль" и "машина". Это дает более подробное введение в векторные представления и принцип работы алгоритма сходства.

Ключевые термины

Семантический рангер использует контекст или семантический смысл запроса для вычисления новой оценки релевантности, которая повышает результаты, которые семантические ближе всего к намерению исходного запроса в верхней части. Исходный результирующий набор может поступать из поиска ключевых слов с ранжированием BM25 , векторным поиском или гибридным поиском , который включает оба. Он также создает и возвращает "субтитры", извлекая подробное содержимое, найденное в результатах и "выделениях", чтобы привлечь внимание к важному содержимому в результатах. Он также может возвращать "ответ", если запрос обладает характеристиками вопроса ("что такое точка замерзания воды") и результат содержит текст с характеристиками ответа ("вода замерзает при 0°C или 32°F").

Ключевые термины

Перезапись запросов создает синтетические запросы, которые искусственно генерируются из фактического ввода клиента для улучшения полноты (доля релевантных документов, извлеченных из общего числа доступных) ранжирования BM25, векторного поиска или гибридного поиска. Исходный запрос сочетается с искусственными запросами, чтобы обеспечить оптимальный отзыв из поисковой системы.

Навык запроса GenAI является частью каталога навыков Поиск с использованием ИИ Azure, что позволяет клиентам улучшать свои индексы поиска с помощью содержимого, созданного ИИ на основе данных. Используя собственные данные и предпочтения организации клиента, этот навык помогает создавать специализированные сводки, ответы или аналитические сведения, которые соответствуют их конкретным потребностям.

Это означает, что когда конечный пользователь ищет содержимое клиентов с помощью поиска ИИ, содержимое, созданное СИ, может обеспечить более информативные и контекстные результаты, что упрощает поиск информации, которую они ищут.

Ключевые термины

Агентное извлечение — это архитектура параллельной обработки запросов, которая использует большую языковую модель для бесед (LLM) в качестве "планировщика запросов". LLM преобразует историю бесед пользователя в один или несколько ориентированных подзапросов по мере необходимости. Эти вложенные запросы выполняются одновременно в индексе Поиск с использованием ИИ Azure, а служба объединяет первые результаты, возвращая:

• Одна строка содержимого, содержащая наиболее релевантные фрагменты (основные данные).
• Массив ссылок (необязательно), предоставляющий полные исходные документы или блоки.
• Массив действий, перечисляющий каждую операцию, количество токенов и задержку для отслеживания затрат и отладки.

Ключевые термины

Системное поведение

Несколько встроенных навыков в Поиск с использованием ИИ Azure для обогащения ИИ используют средства Foundry. При выборе навыка см. заметки о прозрачности для каждого встроенного навыка, перечисленного ниже.

• Навык извлечения ключевых фраз: Язык — Извлечение ключевых фраз
• Навык определения языка: Язык — Определение Языка
• Навык связывания сущностей: язык — связывание сущностей
• Навык распознавания сущностей: язык — распознавание именованных сущностей (NER)
• Навык обнаружения PII: Язык — обнаружение PII
• Навык анализа настроений: анализ настроений — язык
• Навык анализа изображений: зрение — анализ изображений
• Навык OCR: Визуальное распознавание — OCR
• Навык макета документа: аналитика документов

Дополнительные сведения об их возможностях, ограничениях, производительности, оценках и методах интеграции и ответственного использования см. в документации по каждому навыку. Обратите внимание, что использование этих методов в сочетании может привести к усиленному эффекту (например, ошибки, возникшие при использовании OCR, будут сохраняться при извлечении ключевых фраз).

Варианты использования

Примеры вариантов использования

Поскольку Поиск с использованием ИИ Azure является решением полнотекстового поиска, целью обогащения ИИ является улучшение служебной программы поиска неструктурированного содержимого. Ниже приведены некоторые примеры сценариев обогащения контента, поддерживаемых встроенными навыками.

• Преобразование и обнаружение языка позволяют выполнять многоязычный поиск.
• Распознавание сущностей извлекает людей , места и другие сущности из больших блоков текста.
• Извлечение ключевых фраз идентифицирует и выводит важные термины.
• OCR распознает печатный и рукописный текст в двоичных файлах.
• Анализ изображений описывает содержимое изображения и выводит описания в виде текстовых полей, доступных для поиска.
• Интегрированная векторизация — это предварительная функция, которая вызывает модель эмбеддингов OpenAI в Azure для векторизации данных и их хранения в Поиск с использованием ИИ Azure с целью поиска схожих данных.

Системное поведение

В векторном поиске поиск ищет векторы в пределах встраиваемого пространства в индекс, чтобы найти близкие к вектору запроса. Этот метод называется ближайшим поиском соседей. Это также помогает оценить степень сходства или расстояния между элементами. Высокая степень сходства векторов указывает на то, что исходные данные были похожи тоже. Два алгоритма поиска векторов, поддерживаемые Поиск с использованием ИИ Azure, имеют различные подходы к этой проблеме, балансируя разные характеристики, такие как задержка, пропускная способность, полнота и память.

Поиск истинного набора ближайших соседей "k" требует сравнения входного вектора исчерпывающим образом со всеми векторами в наборе данных. Хотя вычисление сходства векторов относительно быстро, выполнение этих исчерпывающих сравнений между большими наборами данных является вычислительным затратным и медленным из-за большого количества необходимых сравнений. Кроме того, чем выше размерность каждого вектора, тем сложнее и медленнее вычисления для каждого вектора.

Для решения этой проблемы используются методы приближённого поиска ближайших соседей (ANN) для компромисса между полнотой и скоростью. Эти методы могут эффективно найти небольшой набор векторов кандидатов, которые, скорее всего, будут похожи на вектор запроса, уменьшая общее количество сравнений векторов. Поиск с использованием ИИ Azure использует алгоритм иерархического навигационного малого мира (HNSW) для организации высокоразмерных точек данных в вероятностную структуру иерархического графа, которая обеспечивает быстрый поиск сходства, позволяя регулировать компромисс между точностью поиска и вычислительными затратами.

Поиск с использованием ИИ Azure также поддерживает несколько метрик сходства для определения ближайшего соседа и оценки каждого векторного результата, включая косинус, "евклидова" (также известный как "l2-норма") и "скалярное произведение". Косинус вычисляет угол между двумя векторами. Евклидан вычисляет расстояние Евклида между двумя векторами, что является нормой l2 разницы двух векторов. Точка продукта влияет на величины обоих векторов и угол между ними. Для нормализованных внедренных пространств продукт dot эквивалентен подобию косинуса, но является более эффективным.

Варианты использования

Примеры вариантов использования

Существует множество сценариев, когда поиск векторов полезен, и они ограничены только возможностями модели, используемой для создания векторных внедрения. Ниже приведены некоторые общие варианты использования поиска векторов:

• Semantic search: извлечение семантического понимания из текста с помощью модели, например, такие модели, как эмбеддинги моделей Служба Azure OpenAI.
• Поиск по разным типам данных (мультимодальный): кодирование содержимого, поступающего из изображений, текста, звука и видео, или смешивания, и выполнение единого поиска по всем ним.
• Многоязычный поиск: используйте модель многоязычных встраиваний, чтобы представить ваш документ на нескольких языках и найти результаты на поддерживаемых языках.
• Гибридный поиск: векторный поиск реализуется на уровне поля, что означает, что можно создавать запросы, включающие векторные поля и текстовые поля, доступные для поиска. Запросы выполняются параллельно, и результаты объединяются в один ответ. Результаты гибридного поиска с семантическим ранжированием показали, что обеспечивают лучшие качественные результаты.
• Отфильтрованный векторный поиск: запрос может включать векторный запрос и выражение фильтра. Фильтры, применяемые к другим типам данных, полезны для включения или исключения документов на основе других критериев.
• Векторная база данных: это чистое векторное хранилище для долгосрочной памяти или внешней базы знаний для крупных языковых моделей (LLM). Например, используйте Поиск с использованием ИИ Azure в качестве векторного индекса в цепочке запросов Машинное обучение Azure для приложений генерации с повышением качества извлечения (RAG).

Рекомендации при выборе варианта использования

Могут возникнуть вопросы и проблемы, связанные с конкретной моделью, выбранной для создания векторных внедрения. Каждая модель может иметь свои собственные проблемы с предвзятостью и справедливостью и должны быть оценены перед использованием в приложении. Поиск с использованием ИИ Azure не предоставляет модели для векторизации содержимого в рамках службы. Примеры этих рекомендаций см. в заметке о прозрачности Служба Azure OpenAI. Другие сторонние модели или модели OSS имеют свои собственные рекомендации для проверки.

Системное поведение

Ранжирование результатов первого этапа извлечения слоя — это весьма ресурсоемкий процесс. Чтобы завершить обработку ранжировщика в рамках ожидаемой задержки времени операции запроса, в качестве входных данных ранжировщику отправляются результаты только первых 50 позиций от поисковой системы. Если слишком долго, 50 результатов сначала отправляются на шаг суммирования, который извлекает наиболее релевантное содержимое из каждого результата перед запуском семантического рангера.

На шаге суммирования извлеченный документ сначала помещается через процесс подготовки, который объединяет различные входные данные документа в одну длинную строку. Если строка слишком длинна, проводится процесс обрезки, с особым акцентом на сохранение содержимого, содержащегося в полях, добавленных в семантическую конфигурацию. После подготовки данных они проходят обработку с помощью моделей машинного понимания текста и языкового представления, чтобы определить, какие предложения и фразы предоставляют лучшую сводку относительно запроса. Этот этап извлекает содержимое из строки, которая будет передана на этап семантического ранжирования и при необходимости выводит семантический заголовок или семантический ответ.

Последний шаг, семантический ранжирование, определяет релевантность содержимого, извлеченного на предыдущем шаге для запроса пользователя, и выводит семантический рейтинг ранжирования от 4 (очень релевантный) до 0 (неуместным). Этот шаг основан на тексте запроса и на сводном тексте и включает в себя более сложные вычисления, чем те из слоя извлечения.

Варианты использования

Примеры вариантов использования

Семантический рангировщик можно использовать в нескольких сценариях. К предполагаемым вариантам использования системы относятся:

• Retrieval Augmented Generation (RAG): семантический рангер позволяет вам основываться на ответах ваших генеративных приложений ИИ на релевантных результатах поиска, соответствующих пороговому значению оценки релевантности, которое вы определяете. Например, служба Служба Azure OpenAI, работающая с вашими данными, использует Поиск с использованием ИИ Azure для увеличения возможностей моделей OpenAI с помощью ваших данных. Вы можете использовать семантический рангер в этой службе для улучшения релевантности данных, передаваемых в модель Azure OpenAI.
• Поиск контента: семантический рангировщик позволяет искать соответствующее содержимое в данных путем анализа текста и метаданных. На сайте learn.microsoft.com используется семантический ранжатор для повышения релевантности поиска разработчиков программного обеспечения, которые ищут техническую документацию Microsoft.
• Поиск электронной коммерции: семантический рангировщик позволяет предприятиям электронной коммерции улучшить свой поиск, предоставляя соответствующие результаты продукта на основе семантической релевантности. Например, интернет-магазины используют семантический рангер для оптимизации взаимодействия электронной коммерции, предоставляя соответствующие результаты поиска для своих онлайн-покупателей.
• QnA: Поиск с использованием ИИ Azure позволяет организациям предоставлять взаимодействие с пользователями, отвечая на вопросы на основе информации, доступной в своих базах данных. Например, производитель может использовать семантический рангер для расширения информации, доступной чат-боту. Инженеры могут использовать этот чат-бот для получения вопросов и получения важных внутренних документов, связанных с их запросом и мгновенными ответами в извлеченных документах.

Рекомендации при выборе варианта использования

Мы рекомендуем клиентам использовать семантический рангер в своих инновационных решениях или приложениях. Однако при выборе варианта использования следует учитывать некоторые рекомендации.

• Конфиденциальная информация : модели машинного обучения, обеспечивающие семантику ранжирования, обрабатывают данные, полученные в поисковом запросе, включая конфиденциальные сведения, такие как персональные данные и финансовая информация. Перед реализацией семантического ранджера для таких вариантов использования рассмотрите любые последствия конфиденциальности и безопасности.
• Предвзятость и справедливость : семантический рангер работает с помощью моделей глубокого обучения. Эти модели глубокого обучения были обучены с помощью общедоступного содержимого. Данные клиента оцениваются моделями семантического ранджера. Оцените результат семантического ранжирования при выборе вариантов использования, особенно для тех, которые имеют последствия для справедливости и равенства, таких как наём и подбор персонала.
• Соответствие нормативным требованиям: некоторые отрасли, такие как здравоохранение и финансы, строго регулируются и могут иметь ограничения на использование искусственного интеллекта и машинного обучения. Прежде чем использовать семантический рангировщик в таких отраслях, убедитесь, что решение соответствует соответствующим правилам и рекомендациям.

Системное поведение

Исходный запрос отправляется в адаптированную маленькую языковую модель (SLM), размещённую на платформе Поиск с использованием ИИ Azure. Эта модель была обучена с помощью общедоступного содержимого. SLM преобразует исходный запрос в набор искусственных запросов. Эти искусственные запросы семантично близки к намерению исходного запроса, но включают другой набор терминов для улучшения отзыва от поисковой системы.

Затем искусственные запросы объединяются с исходным запросом и отправляются в поисковую систему. При выполнении ранжирования BM25 ключевые термины из синтетических запросов объединяются с исходным запросом. При выполнении векторного поиска исходный запрос объединяется с искусственными запросами до шага внедрения вектора .

Варианты использования

Примеры вариантов использования

Перезапись запросов может использоваться в нескольких сценариях. Для перезаписи запросов требуется использование семантического рангера.

• Взаимодействие чата с вашими данными: перезапись запросов позволяет привязывать ответы генеративных приложений ИИ к соответствующим результатам поиска, которые вы определяете на основе порога оценки релевантности. Например, служба Служба Azure OpenAI On Your Data использует Поиск с использованием ИИ Azure для улучшения моделей Azure OpenAI с помощью ваших данных. Вы можете использовать перезапись запросов в этой службе для повышения релевантности результатов данных, которые передаются в модель openAI Azure.
• Конверсационные вопросы и ответы (QnA): Поиск с использованием ИИ Azure позволяет организациям предоставлять пользователям возможность общения, отвечая на вопросы на основе информации, доступной в своих базах данных. Например, производитель может использовать семантический рангер для расширения информации, доступной чат-боту. Инженеры могут использовать этот чат-бот для получения вопросов и получения важных внутренних документов, связанных с их запросом и мгновенными ответами в извлеченных документах.

Рекомендации при выборе варианта использования

Мы рекомендуем клиентам использовать перезапись запросов в своих инновационных решениях или приложениях. Однако при выборе варианта использования следует учитывать некоторые рекомендации.

• Конфиденциальная информация и ЛИЧНЫЕ данные: настроенный SLM, который позволяет перезаписывать запросы, обрабатывает поисковый запрос, который может содержать конфиденциальную информацию. Прежде чем реализовать перезапись запросов для таких вариантов использования, рассмотрите любые последствия конфиденциальности и безопасности.
• Отредактировать личную информацию, чтобы уменьшить бессознательную предвзятость. Например, во время процесса проверки резюме компании может потребоваться заблокировать имя кандидата, адрес или номер телефона, чтобы помочь уменьшить бессознательные гендерные или другие предвзятости в ходе поиска.
• Юридические и нормативные рекомендации. Организациям необходимо оценить потенциальные юридические и нормативные обязательства при использовании любого поиска ИИ, который может быть не подходит для использования в каждой отрасли или сценарии. Ограничения могут отличаться в зависимости от региональных или местных нормативных требований. Кроме того, поиск ИИ не предназначен для использования и не может использоваться способами, запрещенными в применимых условиях обслуживания и соответствующих кодексах поведения.

Навык GenAI Prompt позволяет клиентам передавать содержимое документов, имеющееся в их источниках данных, а также собственные пользовательские запросы к языковой модели, которой они владеют, размещенной на Microsoft Foundry. Языковая модель обрабатывает входные данные и возвращает обогащенное содержимое, которое затем включается в индекс поиска вместе с исходным содержимым документа. Этот процесс позволяет обогащать индексы поиска с помощью создаваемых ИИ сводок, подписей к изображениям и извлечения сущностей на основе критериев, определяемых клиентом.

В следующих примерах показано, как работает функция создания подсказок GenAI.

Сводка по билету с нуля

Цель: Дать агентам возможность просматривать многостраничные переписки электронной почты за считанные секунды.

Как это работает:

• Во время индексирования каждый обширный диалог по заявкам делится на логические сегменты (первоначальный запрос, дальнейшие вопросы, диагностические журналы и т. д.).
• Для каждого сегмента языковая модель предписывается "суммировать этот раздел в трех четких предложениях".
• Результирующий абстракт заменяет необработанный текст во время извлечения, чтобы агенты, включая подчиненные конвейеры RAG, видели только дистиллированную информацию.

Почему это помогает: краткие сводки на уровне сегментов сокращают размер запроса, ускоряют создание ответов и фокусируются на основной проблеме клиента.

Извлечение сущностей с небольшим количеством примеров

Цель: поддерживать запросы, такие как "Показать мне все билеты, где продукт X завершился с ошибкой 500".

Принцип работы

• Полный текст билета отправляется навыку вместе с одним из рабочих примеров, в которых показан нужный формат выходных данных (список ключевых сущностей, таких как имя продукта, код ошибки, операционная система и серьезность).
• Модель извлекает каждое вхождение продукта 〈, error_code, платформы, серьезности.
• Этот структурированный список хранится в документе, что позволяет мгновенно использовать фильтры, показывающие, например, все сбои высокой серьезности, выявляемые в iOS.

Почему это помогает: предварительно вычисленные сущности превращают произвольные сообщения клиентов в фильтруемые данные, позволяя руководителям службы поддержки выявлять шаблоны и определять приоритеты исправлений без ручного разбора.

Классификация маршрутизации одноразовых билетов

Цель: автоматически перенаправит каждый билет в нужную очередь.

Как это работает:

• Каждый запрос анализируется с помощью подсказки, в которой перечислены пять категорий поддержки: выставление счетов, техническая проблема, доступ к учетной записи, запрос функции и общий отзыв, а также один пример запроса ("Пример запроса → выставление счетов").
• Модель назначает ровно одну метку, основанную на пяти категориях поддержки выше, каждой заявке, входящей в систему AI Search в качестве входных данных.
• Система службы поддержки использует метку для отправки запросов на выставление счетов специалистам по финансам, перенаправляет технические сбои инженерам и т. д.

Почему это помогает: Быстрая, согласованная маркировка снижает число неправильно перенаправленных заявок, сокращает время их разрешения и повышает удовлетворенность клиентов.

Предложение по решению логической цепочки

Цель: Обеспечить агентов поддержки наилучшим следующим шагом для устранения проблемы.

Принцип работы

• Весь билет (или последнее сообщение клиента) передается в языковую модель.
• Сообщение пользователя инструктирует модель после системного запроса: «Думай пошагово внутри, но выводи только рекомендованное следующее действие».
• Возвращаемое руководство может быть: "Попросите клиента очистить кэш и переустановить версию 3.2.1".
• Агенты могут скопировать предложение непосредственно или уточнить его перед реагированием.

Почему это помогает: агенты получают практические рекомендации без частной цепочки причин модели, экономя время, сохраняя при этом действия по устранению неполадок краткими и актуальными. В некоторых случаях агент поддержки не перегружен ненужными сведениями.

Варианты использования

Примеры вариантов использования

Программа запроса GenAI улучшает качество данных в Поиск с использованием ИИ Azure, способствуя соответствию ответов намерениям и ожиданиям пользователей. Интегрируя содержимое, созданное ИИ, в индексы поиска, этот навык обеспечивает более точные и контекстно соответствующие результаты поиска. К ключевым приложениям относятся:

• Создание кратких сводок длинных документов для упрощения быстрого получения информации: юридическая фирма обрабатывает обширные контракты и использует навык GenAI Prompt для создания кратких сводок с выделением ключевых предложений, что упрощает для юристов просматривать основные сведения без чтения целых документов.
• Создание текстовых описаний изображений для повышения удобства поиска и специальных возможностей: компания мультимедиа управляет обширной библиотекой изображений. Применяя навык запроса GenAI, они создают описательные подписи для каждого образа, что позволяет эффективно выполнять поиск и организацию в рамках системы управления цифровыми активами.
• Определение и извлечение конкретных сущностей или фактов из документов на основе пользовательских критериев: исследовательское учреждение анализирует научные документы для извлечения упоминаний химических соединений и их свойств. Навык запроса GenAI автоматизирует это извлечение, заполняя структурированную базу данных для исследователей для быстрого доступа к соответствующим данным.
• Классификация документов в определенные категории для лучшей организации и получения: страховая компания получает множество типов документов ежедневно. Используя навык запроса GenAI, они автоматически классифицируют эти документы в категории, такие как утверждения, обновления политики и отзывы клиентов. Это упрощает процесс управления документами и упрощает поиск определенных документов при необходимости.

Хотя это распространенные приложения, навык является гибким, позволяя клиентам определять запросы, адаптированные к их уникальным требованиям.

Рекомендации при выборе варианта использования

Важно отметить, что развертывания содержимого, запросов и языковых моделей являются ресурсами, полностью управляемыми клиентом. Foundry поддерживает фильтры безопасности содержимого для развертываний моделей, и клиенты отвечают за настройку этих фильтров по мере необходимости. Помимо конфигураций, доступных в Foundry, в Поиск с использованием ИИ Azure не применяются дополнительные фильтры безопасности контента в функции запроса GenAI.

При реализации навыка генерации подсказок GenAI учтите следующие аспекты:

• Реализуйте процессы для анализа содержимого, созданного ИИ, особенно при применении преобразований запросов, которые могут повлиять на надежность информации. Используйте средство сеансов Поиск с использованием ИИ Azure debug для тестирования запросов на образцы документов до полного развертывания.
• Избегайте сценариев, когда использование или неправильное использование системы может привести к значительной физической или психологической травме человека. Например, сценарии, которые диагностируют пациентов или назначают лекарства, могут привести к значительному вреду. Включение значимых человеческих обзоров и надзора в этот сценарий может помочь снизить риск вредных результатов.
• Внимательно рассмотрите все варианты использования генеративных технологий. Сценарии создания контента могут быть более вероятными для создания непреднамеренных выходных данных, и для этих сценариев требуется тщательное рассмотрение и устранение рисков.
• Юридические и нормативные рекомендации. Организациям необходимо оценить потенциальные юридические и нормативные обязательства при использовании любого поиска ИИ, который может быть не подходит для использования в каждой отрасли или сценарии. Ограничения могут отличаться в зависимости от региональных или местных нормативных требований. Кроме того, поиск ИИ не предназначен для использования и не может использоваться способами, запрещенными в применимых условиях обслуживания и соответствующих кодексах поведения.

Системное поведение

Исходный диалог или поисковый запрос отправляется в модель OpenAI клиента, размещённую на Azure, для выполнения шагов планирования запросов. Планирование запросов разбивает беседу на ряд оптимизированных подзапросов, которые отражают базовое намерение пользователя с исправленной орфографией и расширенными синонимами. Поиск с использованием ИИ Azure затем обрабатывает все вложенные запросы одновременно в полной системе извлечения поиска. Вложенные запросы сначала обрабатываются гибридным сочетанием поиска ключевых слов и векторного поиска. Поиск ключевых слов находит документы в индексе поиска с аналогичными ключевыми словами в вложенных запросах. Векторный поиск находит документы в индексе поиска, которые могут иметь разные ключевые слова, но аналогичные базовые значения для вложенных запросов. Результаты гибридного поиска затем повторно ранжируются семантическим ранжировщиком, чтобы найти документы с лучшим соответствием намерению подзапроса. Затем служба объединяет и удаляет дубликаты из ранжированных результатов, применяя ограничения ответа, такие как максимальная длина выходных данных перед отправкой окончательного ответа.

Варианты использования

Примеры вариантов использования

• Базисные данные для пользовательских чат-ботов. Привяжите чат-бота к официальной кадровой политике компании и руководству для сотрудников, чтобы, когда кто-то спросит: "Сколько дней отпуска я получаю?", чат-бот извлекал ответ прямо из этих документов, а не угадывал.
• Настройте корпоративных интеллектуальных помощников, чтобы они учитывали контекст пользователя, фильтры и историю чата. Например, когда сотрудник запрашивает цели определенного периода, помощник использует свою роль, текущие фильтры (например, регион: США), а также текущий разговор (например, последний раздел был "Конвейер Q2") для создания персонализированного ответа.
• Решайте сложные задачи поиска информации, в которых один запрос по ключевому слову имеет низкую полноту. Такие задачи могут включать руководства по устранению неполадок, исследования медицинской литературы или сравнения продуктов. Например, если технический специалист просто ищет "ошибку устройства" и получает универсальные результаты, агентический извлекатель может учитывать всю историю бесед, которая может включать модель устройства, версию программного обеспечения, журнал обслуживания и состояние сети для отображения точных, соответствующих статей.
• Обеспечение полной прозрачности в том, что было получено, почему и по какой стоимости. Например, при обобщении нормативных документов и прошлых результатов аудита важно знать точные источники (например, "документ SEC за 2 квартал 2023 года"), обоснование выбора (например, "соответствующие ключевые слова: раскрытие рисков, производные") и связанные затраты (например, использование токенов).

Рекомендации при выборе варианта использования

• Задержка: Добавление второго вызова LLM для планирования запросов неизбежно увеличивает время круглого пути запроса. Даже при использовании быстрых моделей необходимо проверить дополнительную задержку при пиковом трафике и убедиться, что общий интерфейс остается приемлемым для пользователей. Если задержка важна, рекомендуется кэширование частых запросов или использование небольших, более быстрых моделей планирования.
• Затраты: плата взимается по двум измерениям— токены модели OpenAI и токены ранжирования поиска. Вызов планировщика запросов оплачивается Azure OpenAI как за маркеры ввода, так и за маркеры вывода, в то время как каждый подзапрос выставляется Поиск с использованием ИИ Azure для маркеров, которые необходимо упорядочить. Маркеры ранжирования предоставляются бесплатно на начальном этапе публичного предварительного просмотра. Заранее оцените как модели, так и количество токенов для ранжирования в вашей рабочей нагрузке.
• Конфиденциальные входные данные: весь журнал бесед пересылается в модель планировщика, что означает, что любые личные данные или конфиденциальные для бизнеса данные покидают вашу границу непосредственного доверия. Удалите, закройте или отредактируйте такие данные перед вызовом LLM, и задокументируйте эти меры в вашей стратегии защиты данных.
• Ограничения для регионов и предварительных версий: агентическая извлечение доступна только в регионах, где доступен семантический рангировщик. Отдельный агент может указывать только на один индекс поиска. Убедитесь, что регион, в котором размещаются данные и модель, поддерживает агентическую извлечение, а также запланируйте отдельные агенты, если необходимо охватывать несколько индексов или географических регионов.
• Соответствие требованиям. Убедитесь, что использование планировщика запросов, управляемого LLM, соответствует отраслевым или региональным требованиям (например, правила расположения данных, конфиденциальности или автоматизированного принятия решений в области здравоохранения или финансов). Обеспечьте адекватное участие человека в надзоре и контроле. Рассмотрите возможность включения элементов управления, которые помогают разработчикам проверять, проверять и/или утверждать действия своевременно, что может включать проверку запланированных задач или вызовов внешних источников данных.
• Юридические и нормативные рекомендации. Пользователям необходимо оценить потенциальные определенные юридические и нормативные обязательства при использовании любых средств и решений Foundry, которые могут быть не подходящими для использования в каждой отрасли или сценарии. Кроме того, средства и решения Foundry не предназначены для использования и не могут использоваться способами, запрещенными в применимых условиях обслуживания и соответствующих кодексах поведения.

Обогащение искусственного интеллекта в Поиск с использованием ИИ Azure использует функции индексатора и источника данных службы для вызова средств Foundry для обогащения содержимого. Будут применяться ограничения индексаторов и источников данных, используемых в этом процессе. Дополнительные сведения об этих связанных ограничениях см. в документации по индексатору и источнику данных . Ограничения каждого инструмента Foundry, используемого конвейером обогащения ИИ в Поиск с использованием ИИ Azure, также будут применяться. Дополнительные сведения об этих ограничениях см. в заметках о прозрачности для каждой службы .

Технические ограничения, операционные факторы и диапазоны

Все векторы, отправленные в Поиск с использованием ИИ Azure, должны быть созданы вне службы с помощью выбранной модели. Вы несете ответственность за рассмотрение технических ограничений и факторов эксплуатации каждой модели, а также оптимизацию встраивания, чтобы оно подходило для вашего применения. К ним относятся как выводы смысла, извлеченные из контента, так и размерность векторного пространства вложений.

Модель векторизации создает пространство внедрения, определяющее результирующий интерфейс поиска конечных пользователей приложения. В модели могут возникнуть недостатки, которые негативно влияют на функциональные возможности и производительность, если модель не хорошо соответствует требуемому варианту использования или созданные внедрения плохо оптимизированы.

Хотя многие ограничения векторного поиска связаны с моделью, используемой для создания внедрения, существуют некоторые дополнительные параметры, которые следует учитывать во время запроса. Вы можете выбрать один из двух алгоритмов, чтобы определить релевантность результатов векторного поиска: исчерпывающие k-ближайшие соседи (KNN) или иерархический навигационно-малый мир. Исчерпывающее k-ближайших соседей (KNN) выполняет поиск по всему векторному пространству для нахождения совпадений, наиболее похожих на запрос, вычисляя расстояния между всеми парами точек данных и находя точных k ближайших соседей точки запроса. В то время как более точный алгоритм может быть медленным. Если низкая задержка является основной целью, рассмотрите возможность использования алгоритма Иерархический Навигационный Малый Мир (HNSW). HNSW выполняет эффективный поиск ближайшего соседа (ANN) в высокоразмерных пространствах встраивания. Дополнительные сведения об этих параметрах см. в документации по поиску векторов .

Рекомендации по улучшению производительности системы

• Проводите время A/B тестирования приложения с различными типами содержимого и запросов, которые вы ожидаете, что ваше приложение будет поддерживать. Узнайте, какой интерфейс запросов лучше всего подходит для ваших потребностей.
• Проводите тестирование моделей с полным диапазоном входного содержимого, чтобы понять, как он ведет себя во многих ситуациях. Это содержимое может включать потенциально конфиденциальные входные данные, чтобы понять, существует ли какая-либо предвзятость, присущая модели. Обзор Azure OpenAI Responsible AI содержит рекомендации по использованию ИИ.
• Рекомендуется добавить Безопасность содержимого ИИ Azure в архитектуру приложения. Он включает API для обнаружения вредоносного контента, созданного пользователями и искусственным интеллектом, в приложениях и сервисах.

Оценка и интеграция векторного поиска для вашего использования

Чтобы обеспечить оптимальную производительность, проведите собственные оценки решений, которые планируется реализовать с помощью векторного поиска. Следуйте процессу оценки, который: (1) использует некоторых внутренних заинтересованных сторон для оценки результатов, (2) использует эксперименты для развертывания векторного поиска для пользователей, (3) включает ключевые показатели эффективности и мониторинг метрик при первом развертывании службы в опыте пользователей, и (4) проводятся тесты и настраивается конфигурация семантического ранжирования и/или определение индекса, включая окружающие интерфейсы, такие как размещение пользовательского интерфейса или бизнес-процессы.

Microsoft тщательно оценивает векторный поиск как с точки зрения задержки, так и отзыва и релевантности с помощью различных наборов данных для измерения скорости, масштабируемости и точности возвращаемых результатов. Основное внимание при оценке следует уделять выбору подходящей модели для конкретного варианта использования, пониманию ограничений и предвзятости модели и тщательному тестированию сквозного векторного поиска.

Технические ограничения, операционные факторы и диапазоны

Возможны случаи, когда семантические результаты, субтитры и ответы могут быть неверными. Модели, используемые семантическим ранжировщиком, обучены на различных источниках данных (включая данные с открытым исходным кодом и материалы из корпуса Microsoft Bing). Семантический рангировщик поддерживает широкий спектр языков и пытается сопоставить запросы пользователей с контентом из результатов поиска. Семантический рангировщик также является функцией уровня "Премиум" по дополнительным затратам, которые следует учитывать при прогнозе общей стоимости комплексного решения.

Семантический рангировщик, скорее всего, повышает релевантность по сравнению с семантически богатым содержимым, например статьями и описаниями. Он ищет контекст и связанность между терминами, повышение уровня совпадений, которые более понятны с учетом запроса. Понимание языка "находит" резюме или подписи и ответы в вашем содержимом, но, в отличие от генеративных моделей, таких как модели Служба Azure OpenAI GPT-3.5 или GPT-4, оно их не создает. В ответ включается только подробный текст из исходных документов, который затем можно отобразить на странице результатов поиска для более эффективного поиска.

Для суммирования и ранжирования используются предварительно обученные модели. Чтобы обеспечить быструю производительность, которую пользователи ожидают от поиска, семантическая сводка и ранжирование применяются только к лучшим 50 результатам, как указано в алгоритме оценки по умолчанию. Входные данные являются производными от содержимого в результатах поиска. Он не может вернуться к индексу поиска, чтобы получить доступ к другим полям в документе поиска, которые не были возвращены в ответе запроса. Входные данные подчиняются длине токена 8960. Эти ограничения необходимы для поддержания времени отклика в миллисекундах.

Алгоритм оценки по умолчанию создан Bing и Microsoft Research и интегрирован в инфраструктуру Поиск с использованием ИИ Azure в качестве дополнительной функции. Модели используются внутренне, не предоставляются разработчику и не настраиваются. Дополнительные сведения об исследованиях и инвестициях в ИИ, которые поддерживает семантический ранжировщик, см. статью How AI from Bing is powering Поиск с использованием ИИ Azure (Microsoft Research Blog).

Семантический рангировщик также предлагает ответы, подписи и выделение в ответе. Например, если модель классифицирует запрос как вопрос и с уверенностью 70% отвечает на него, модель возвращает осмысленный ответ. Кроме того, семантические заголовки предоставляют наиболее релевантное содержимое в результатах и предоставляют краткий фрагмент, указывающий наиболее релевантные слова или фразы в этом фрагменте кода.

Результаты семантического ранжировщика основаны на данных в основополагающем поисковом индексе, а модели предоставляют ранжирование релевантности, ответы и аннотации на основе информации, полученной из индекса. Прежде чем использовать семантический рангер в рабочей среде, важно выполнить дальнейшее тестирование и убедиться, что набор данных является точным и подходящим для предполагаемого варианта использования. Для получения дополнительной информации и примеров того, как оценивать семантический ранжировщик, см. контент и приложение здесь.

Производительность системы

Во многих системах ИИ производительность часто определяется в связи с точностью, т. е. как часто система ИИ предлагает правильный прогноз или вывод. При использовании крупномасштабных моделей естественного языка два разных пользователя могут смотреть на одни и те же выходные данные и иметь разные мнения о том, насколько полезно или релевантно, что означает, что производительность этих систем должна быть определена более гибко. Здесь мы рассматриваем эффективность как выполнение приложением своих функций согласно ожиданиям вас и ваших пользователей, включая отсутствие вредных результатов.

Семантический ранкер был обучен на общедоступном контенте. В результате семантическая релевантность зависит от документов в индексе и запросов, выданных к нему. Важно использовать собственное суждение и проводить исследование при использовании этого материала для принятия решений.

Рекомендации по улучшению производительности системы

• Уделяйте время A/B тестированию вашего приложения с различными типами запросов, такими как ключевое слово и гибридный плюс семантический ранжировщик. Узнайте, какой интерфейс запросов лучше всего подходит для ваших потребностей.
• Выполните разумные усилия, чтобы настроить семантику конфигурации в соответствии с документацией по функциям.
• Не доверяйте семантические ответы, если у вас нет уверенности в точности информации в индексе поиска.
• Не всегда доверяйте семантическим заголовкам, так как они извлекаются из содержимого клиента через ряд моделей, которые прогнозируют наиболее релевантные ответы в кратком фрагменте.

Оценка семантического рангера

Методы оценки

Семантический ранжатор был оценен с помощью внутреннего тестирования, включая автоматизированное и человеческое решение по нескольким наборам данных, а также отзывы от внутренних клиентов. Тестирование включает ранжирование документов, оценивая их как релевантные или нерелевантные, а также ранжирование документов в порядке убывания релевантности. Аналогичным образом, заголовки и функции ответов также были ранжированы через внутреннее тестирование.

Результаты оценки

Мы стремимся отправлять все обновления модели без регрессии (т. е. обновленная модель должна только улучшить текущую рабочую модель). Каждый кандидат сравнивается непосредственно с текущей производственной моделью с помощью метрик, подходящих для оценки функции (например, нормализованный совокупный прирост с скидкой для ранжирования и точности/отзыва для ответов). Модели семантического ранжирования обучены, настроены и оцениваются с помощью широкого спектра обучающих данных, которые представляют собой различные свойства (язык, длину, форматирование, стили и тоны) для поддержки самого широкого массива сценариев поиска. Наши учебные и тестовые данные извлекаются из:

Источники документов:

• Академические и отраслевые ориентиры
• Данные клиента (только тестирование, выполненное с разрешением клиента)
• Искусственные данные

Источники запросов:

• Эталонные наборы запросов
• Предоставленные клиентом наборы запросов (только тестирование, выполненное с разрешением клиента)
• Искусственные наборы запросов
• Наборы запросов, созданные человеком

Источники меток для оценивания пар запросов и документов

• Академические и отраслевые контрольные метки
• Метки клиентов (только тестирование, выполненное с разрешением клиента)
• Синтетические метки данных
• Метки, оцененные человеком

Оценка и интеграция семантического ранжировщика для вашего использования

Производительность семантического рангера зависит от реальных условий использования и условий, в которых люди используют его. Качество релевантности, предоставляемой моделями глубокого обучения, которые управляют возможностями семантического ранкера, напрямую связано с качеством данных вашего индекса поиска. Например, в настоящее время модели имеют ограничения маркеров, которые считают только первые 8960 маркеров для семантических ответов. Таким образом, если семантический ответ на поисковый запрос найден в конце длинного документа (за пределом маркера 8960), ответ не будет предоставлен. То же правило применяется к подписям. Кроме того, семантическая конфигурация перечисляет соответствующие поля поиска в порядке приоритета. Вы можете изменить порядок полей в этом списке, чтобы помочь адаптировать релевантность в соответствии с вашими потребностями.

Чтобы обеспечить оптимальную производительность в своих сценариях, клиенты должны проводить собственные оценки решений, которые они реализуют с помощью семантического ранжирования. Как правило, клиенты должны следовать процессу оценки, который: (1) использует некоторые внутренние заинтересованные стороны для оценки результатов, (2) использует эксперименты A/B для развертывания семантического ранжировщика для пользователей, (3) включает ключевые показатели эффективности и метрики мониторинга при развертывании службы впервые, и (4) тестирует и настраивает конфигурацию семантического ранжировщика и/или определение индекса, включая окружающие окружения, такие как размещение в пользовательском интерфейсе или бизнес-процессы.

Если вы разрабатываете приложение в области высокого уровня или отрасли, такие как здравоохранение, кадровые ресурсы, образование или юридическое поле, оцените, насколько хорошо приложение работает в вашем сценарии, реализуйте строгий контроль над человеком, оцените, насколько хорошо пользователи понимают ограничения приложения и соответствуют всем соответствующим законам. Рассмотрим другие способы устранения рисков на основе вашего сценария.

Технические ограничения, операционные факторы и диапазоны

Могут возникнуть случаи, когда искусственные запросы неверны, имеют слишком много ограничений или слишком дороги. Перезапись запросов поддерживает широкий спектр языков и пытается переписать пользовательские запросы, чтобы максимизировать полноту отклика, необходимо указать язык запросов в качестве входного параметра. Перезапись запросов является частью семантического ранкера (Поиск с использованием ИИ Azure функции для повышения релевантности поиска), которая является функцией уровня "Премиум" с дополнительными затратами. Это следует учитывать при прогнозе общих расходов комплексного решения. Перезапись запросов может использоваться только в том случае, если у вас включен семантический рангировщик.

Прежде чем использовать перезапись запросов в рабочей среде (динамическая версия приложения), важно выполнить дальнейшее тестирование и убедиться, что искусственные запросы подходят для предполагаемого варианта использования. Дополнительную информацию и примеры, как оценивать перезапись запросов, см. здесь.

Производительность системы

При использовании крупномасштабных моделей естественного языка два разных пользователя могут смотреть на одни и те же выходные данные и иметь разные мнения о том, насколько полезно или релевантно, что означает, что производительность этих систем должна быть определена более гибко. Здесь мы рассматриваем эффективность как выполнение приложением своих функций согласно ожиданиям вас и ваших пользователей, включая отсутствие вредных результатов.

Производительность перезаписи запросов зависит от реального использования и условий, в которых люди используют его. Качество синтетических запросов, предоставляемых моделью перезаписи запросов, напрямую сопоставляется с исходным поисковым запросом.

Чтобы обеспечить оптимальную производительность в своих сценариях, клиенты должны проводить собственные оценки решений, которые они реализуют с помощью перезаписи запросов. Клиенты обычно должны следовать процессу оценки, который:

1. использует некоторые внутренние заинтересованные стороны для оценки результатов,
2. использует эксперименты A/B для развертывания переформулировки запросов для пользователей и
3. включает ключевые показатели эффективности и мониторинг метрик при первом развертывании службы в новых условиях.

Рекомендации по улучшению производительности системы

• Выполните тестирование A/B для приложения с различными типами запросов (полный текст, вектор, гибридный или другой тип запросов). Узнайте, какой интерфейс запросов лучше всего подходит для ваших потребностей.
• Не всегда предполагайте, что каждый искусственный запрос, созданный перезаписем запросов, будет отражать точное намерение исходного запроса. Искусственные запросы создаются точно настроенной моделью SLM, которая генерирует запросы, семантически схожие с намерением исходного запроса, хотя они могут не полностью соответствовать этому намерению.

Оценка перезаписи запросов

Методы оценки

Перезапись запросов была оценена с помощью внутреннего тестирования, включая автоматизированное и человеческое решение о нескольких наборах данных, а также отзывы от внутренних клиентов. Тестирование включало оценку релевантности результатов семантического ранжирования в сочетании с перезаписи запросов по сравнению с релевантностью результатов только семантического ранжирования.

Результаты оценки

Каждая кандидатная модель сравнивается непосредственно с развернутой в настоящее время моделью с помощью метрик, подходящих для оценки функции. Модели перезаписи запросов настраиваются и оцениваются с помощью широкого спектра общедоступных данных, которые представляют собой запросы с различными свойствами (язык, длина, форматирование, стили и тоны) для поддержки самого широкого массива сценариев поиска. Наши учебные и тестовые данные извлекаются из:

Источники документов:

• Академические и отраслевые ориентиры
• Данные клиента (только тестирование, выполненное с разрешением клиента)

Источники запросов:

• Эталонные наборы запросов
• Предоставленные клиентом наборы запросов (только тестирование, выполненное с разрешением клиента)
• Искусственные наборы запросов
• Наборы запросов, созданные человеком

Источники меток для оценивания пар запросов и документов

• Академические и отраслевые контрольные метки
• Метки клиентов (только тестирование, выполненное с разрешением клиента)
• Синтетические метки данных
• Метки, оцененные человеком

Оценка и интеграция модификации запросов для вашего использования

Так как перезапись запросов была обучена на общедоступном контенте, искусственные запросы будут отличаться в зависимости от запросов, выданных ему. Поэтому важно использовать собственное решение и исследование при использовании этого содержимого для принятия решений.

Технические ограничения, операционные факторы и диапазоны

Хотя навык genAI Prompt предлагает мощные возможности, важно распознать некоторые ограничения:

• Навык использует фильтры содержимого, настроенные клиентом в Foundry. Поиск с использованием ИИ Azure не предоставляет дополнительные механизмы безопасности содержимого для этого навыка.
• Качество создаваемого ИИ содержимого зависит от эффективности запросов и базовой языковой модели. Тщательное тестирование необходимо для обеспечения соответствия выходным данным требуемых стандартов.
• Обработка больших объемов данных с помощью сложных запросов может потребовать значительных вычислительных ресурсов и может привести к задержке. Спланируйте и распределийте ресурсы мудро, чтобы не только поддерживать производительность и эффективность затрат, но и предотвращать возможные задержки в обработке данных.

Производительность системы

Рекомендации по улучшению производительности системы

Чтобы оптимизировать производительность навыка запроса GenAI, выполните следующие действия.

• Используйте инструмент отладки сеансов Поиск с использованием ИИ Azure debug для тестирования запросов на примерах документов, чтобы гарантировать, что содержание, созданное ИИ, соответствует ожиданиям перед полным развертыванием.
• Создание четких и подробных запросов для эффективного руководства языковой модели, что снижает вероятность неуместных или неточных выходных данных.
• Отслеживайте производительность системы и масштабируйте ресурсы по мере необходимости для обработки вычислительных требований обработки ИИ.
• Поощряйте осуществление надзора за результатами человеком прежде чем публиковать или распространять. Сгенерированный ИИ может создавать содержимое, которое может быть оскорбительным или неуместным для задачи.

Оценка умения работы с подсказками GenAI

Оценка и интеграция навыка подсказок GenAI для вашего использования

Чтобы максимизировать преимущества навыка работы с подсказками GenAI в вашем конкретном контексте, рассмотрите следующие действия.

• Определите конкретные цели обогащения, такие как создание кратких сводок, извлечение ключевых сущностей или создание описательных метаданных для выравнивания приложения навыка с потребностями бизнеса.
• Начните с подмножества данных, чтобы оценить производительность навыка и внести необходимые корректировки. Этот подход позволяет выполнять контролируемые эксперименты и уточнения до полномасштабного развертывания.
• Создайте механизмы для мониторинга качества и влияния содержимого, созданного ИИ. Запрос отзывов от конечных пользователей для выявления областей улучшения и обеспечения того, чтобы обогащенные данные соответствовали ожиданиям пользователей.

Технические ограничения, операционные факторы и диапазоны

Могут возникнуть случаи, когда подзапросы, сгенерированные LLM, являются неуместными, чрезмерно ограничивающими или увеличивающими стоимость токенов. Агентное извлечение поддерживает все языки, обрабатываемые семейством GPT-4o, но качество созданного плана запросов по-прежнему зависит от ясности ввода пользователя. Поскольку агентное извлечение зависит от семантического ранжировщика для каждого подзапроса, семантический ранжировщик должен быть включен на индексе. Семантический рангер — это функция на основе токенов уровня "Премиум"; несмотря на то, что расходы на ранжирование отменяются на начальном этапе общедоступной предварительной версии, они будут применяться позже и должны быть учтены в общей стоимости владения.

Перед перемещением агентского извлечения в рабочую среду выполните дополнительное тестирование, чтобы убедиться, что вложенные запросы и возвращенные фрагменты подходят для предполагаемого варианта использования, что задержка и стоимость соответствуют вашим целям уровня обслуживания, и чтобы базовые данные не раскрывали конфиденциальное или несоответствующее содержимое.

Производительность системы

Как и в любой крупномасштабной системе языковой модели, разные пользователи могут получить различные решения о полезности или релевантности возвращаемых фрагментов, поэтому производительность должна быть гибко определена. Для агентивного извлечения мы считаем хорошим выполнение задачи, когда комплексное приложение предоставляет содержимое, которое ожидается пользователями, без неприемлемой задержки, затрат или вредных результатов.

Эффективность агентского принятия зависит от многих факторов реального мира.

• Длина запроса или журнала чата
• Количество подзапросов, сгенерированных LLM
• Размер индекса и схема (ключевое слово, вектор, гибридная среда)
• Выбор модели планирования (GPT-4o vs GPT-4o-mini)
• Конфигурация семантического поиска и пороговые значения оценки

Рекомендации по улучшению производительности системы

• Свести к краткому содержанию или сократить старые чаты с целью минимизации использования токенов.
• Настройте пороговое значение рангера таким образом, чтобы возвращались только высоко релевантные фрагменты.
• Использование фильтров по возможности

Оценка агентного поиска

Агентное извлечение было оценено с помощью внутреннего тестирования, включая как автоматизированную, так и человеческую оценку по нескольким датасетам. Тестирование включало оценку релевантности результатов агентического извлечения по сравнению с результатами только семантического ранжирования.

Методы оценки

Каждая конфигурация агентного поиска, определяемая его запросом планировщика, вариантом модели, количеством подзапросов и порогами ранжирования, оценивается в сравнении с рабочим базовым показателем. Мы применяем набор метрик релевантности, безопасности, задержки и затрат, выбранных специально для сценариев извлечения нескольких запросов. Чтобы обеспечить надежность в реальных вариантах использования, настройка и тестирование выполняются в широком наборе общедоступных и утвержденных клиентом наборов данных, которые зависят от языка, длины запросов, форматирования, стиля и тон диалога. Тестовый материал получен из:

Источники документов:

• Академические и отраслевые ориентиры
• Данные клиента (только тестирование, выполненное с разрешением клиента)
• Источники запросов:
• Эталонные наборы запросов
• Предоставленные клиентом наборы запросов (только тестирование, выполненное с разрешением клиента)
• Искусственные наборы запросов
• Наборы запросов, созданные человеком

Источники меток для оценивания пар запросов и документов

• Академические и отраслевые контрольные метки
• Метки клиентов (только тестирование, выполненное с разрешением клиента)
• Синтетические метки данных
• Метки, оцененные человеком

Оценка и интеграция агентного извлечения для вашего использования

Так как планировщик агентического извлечения обучен в основном на общедоступных данных, качество и релевантность созданных вложенных запросов будут отличаться в зависимости от домена и конкретных запросов пользователей. Чтобы максимизировать преимущества агентивного извлечения в вашем конкретном контексте, рассмотрим следующие действия:

• Проверьте выходные данные перед его использованием для принятия критически важных для бизнеса решений: вручную проверьте образец созданных вложенных запросов и возвращенные документы, чтобы убедиться, что они соответствуют терминологии домена, точности и соответствию требованиям.
• Укажите сведения, относящиеся к домену, планировщику. Укажите карты синонимов и полный журнал бесед, чтобы LLM мог перефразировать и разложить запросы на языке, который соответствует вашему содержимому, улучшая полноту и точность поиска.
• Реализуйте резервную или ограничительную логику: если планировщик создает подзапросы с низкой достоверностью или вне области, перенаправляйте запрос на более простое ключевое слово или векторный поиск, или покажите пользователю запрос на уточнение, предотвращая распространение ненадежных ответов на следующих уровнях обработки.