Функции Поиск с использованием ИИ Azure

Примечание

Поиск с использованием ИИ Azure доступна через портал Azure, REST API и Azure SDKs. Он также лежит в основе Foundry IQ — управляемого слоя знаний, который преобразует корпоративный контент в многократно используемые базы знаний с учетом разрешений доступа для агентов на портале Microsoft Foundry.

Поиск с использованием ИИ Azure предоставляет получение информации и использует необязательную интеграцию СИ для извлечения большего значения из текста и векторного содержимого.

В следующей таблице перечислены функции по категориям. Существует сравнение функций во всех общедоступных, частных и суверенных облаках Azure, но некоторые функции не поддерживаются в определённых регионах или на определённых уровнях.

Извлечение агентности

Категории Функции
Базы знаний Базы знаний управляют конвейером агентного извлечения, подключаясь к вашему LLM и управляя параметрами запроса. База знаний ссылается на один или несколько источников знаний и определяет поведение извлечения.
Источники знаний Источники знаний определяют содержимое, доступное для базы знаний. Индексированные источники знаний поддерживаются индексом поиска, а удаленный источник знаний извлекает содержимое из внешней платформы во время запроса.
Планирование запросов (предварительная версия) Планирование запросов использует LLM для анализа контекста беседы и разбиения сложных вопросов на целевые подзапросы. Это включает обработку журнала чата, декомпозицию запросов, расширение синонимов и исправление орфографии.
Параллельное выполнение запросов Подзапросы выполняются одновременно во всех источниках знаний. Каждый вложенный запрос поддерживает ключевой, векторный и гибридный поиск с автоматическим семантическим переранжированием.
Усилие рассуждения при поиске (предварительная версия) Уровень рассуждений при извлечении определяет степень обработки со стороны LLM в конвейере, чтобы вы могли находить баланс между глубиной и релевантностью извлечения, с одной стороны, и задержкой и затратами на LLM — с другой.
Выходные данные ответа Конвейер возвращает либо контент с извлекаемым обоснованием, либо, при включённой функции синтеза ответов (предварительная версия), ответ, сгенерированный LLM, с указанием источников. При необходимости можно включить исходные ссылки и сведения о выполнении.

Индексирование и извлечение данных

Категории Функции
Источники данных Индексы поиска могут принимать текст из любого источника, если он отправляется в виде документа JSON.

Индексаторы — это функция, которая автоматизирует импорт данных из поддерживаемых источников данных для извлечения содержимого, доступного для поиска, в основных хранилищах данных. Индексаторы обрабатывают сериализацию JSON для вас и чаще всего поддерживают некоторую форму обнаружения изменений и удаления. Вы можете подключаться к различным источникам данных, включая Microsoft OneLake, База данных SQL Azure, Azure Cosmos DB или Хранилище BLOB-объектов Azure.

Соединители Logic Apps предоставляют доступ к более широкому спектру источников данных, включая данные на других облачных платформах. Этот конвейер индексирования и обогащения создается в Поиск с использованием ИИ Azure, но управляется в Azure Logic Apps.

Источники знаний — это возможность агентного поиска. Они используются во время индексирования и во время запроса для поддержки базы знаний.
Иерархические и вложенные структуры данных Сложные типы и коллекции позволяют моделировать практически любой тип структуры JSON в индексе поиска. Кратность "один ко многим" и "многие ко многим" можно выразить в собственном коде через коллекции, сложные типы и коллекции сложных типов.
Лингвистические анализы Анализаторы — это компоненты классического поиска, используемые для обработки текста во время индексирования и операций поиска. По умолчанию можно использовать анализатор standard Lucene общего назначения или переопределить значение по умолчанию с помощью анализатора языка, настраиваемого анализатора или другого предопределенного анализатора, который создает маркеры в нужном формате.

Language analyzers из Lucene или Microsoft используются для интеллектуальной обработки языковых особенностей, включая глагольные времена, род, неправильные формы множественного числа существительных (например, "mouse" и "mice"), декомпозицию слов, разбиение слов (для языков без пробелов) и многое другое.

Пользовательские лексические анализаторы используются для сложных форм запросов, таких как фонетические сопоставления и регулярные выражения.

Интеграция модели чата и агента

Категории Функции
Модели завершения чата, используемые во время индексирования Навык запроса GenAI — это навык, который вызывает большую языковую модель во время индексирования и предоставляет запрос, определяющий задачу. Вы решаете, что такое задача. Это может включать описание изображения, суммирования или обработки содержимого или любой задачи, которая может выполнять модель. Выходные данные добавляются в качестве нового поля в индексе, доступном для поиска.
Модели завершения чата, используемые во время запроса Агентное извлечение использует большую языковую модель для планирования запросов, декомпозиции и перефразирования сложных запросов, чтобы повысить полноту охвата вашего индекса запросами. Ответы от агентного поиска предназначены для рабочих процессов взаимодействия агента с агентом. Вы можете передать результаты поиска как одну большую строку, что упрощает использование вашего фирменного контента агентом. Ответ также содержит ссылки и сведения о выполнении запроса.

Синтез ответов (предварительная версия) использует LLM для создания ответов, поддерживаемых ссылкой, из результатов поиска, возвращаемых агентическим извлечением.

Шаблоны RAG можно реализовать с помощью существующих возможностей. Возможность настраивать релевантность и создавать гибридные запросы повышают качество содержимого, отправленного ботам чата для создания ответов.

Прикладной ИИ и контент, обогащённый ИИ

Категории Функции
Обработка ИИ во время индексирования Обогащение искусственного интеллекта относится к внедренному изображению и обработке естественного языка в конвейере индексатора, который извлекает текст и информацию из содержимого, которое не может быть индексировано для полнотекстового поиска. Обработка ИИ достигается путем добавления и объединения навыков в набор навыков, который затем присоединяется к индексатору. ИИ может иметь либо встроенные навыки от Microsoft, такие как перевод текста или оптическое распознавание символов (OCR), либо настраиваемые навыки, которые вы предоставляете.

Интегрированное разбиение данных и векторизация делит более крупные участки текста на небольшие блоки, которые могут быть векторизированы, а векторы направляются в выделенные поля в индексе для векторного и гибридного поиска.
Обработка ИИ во время выполнения запроса Векторизаторы используются для кодирования строк запросов пользователей в векторы для поиска векторов. Вы можете использовать те же модели внедрения для запросов, которые использовались для индексирования.

Хранение обогащенного содержимого для анализа и потребления в сценариях без поиска Хранилище знаний — это постоянное хранилище обогащенного искусственным интеллектом или созданного искусственным интеллектом контента, предназначенное для сценариев без поиска, таких как интеллектуальный анализ знаний и нагрузки для науки о данных. Хранилище знаний определяется в наборе навыков, но создается в служба хранилища Azure как объекты или табличные наборы строк.
Кэшированные обогащения (предварительная версия) Кэширование обогащений подразумевает кэшированные обогащения, которые можно повторно использовать при выполнении набора навыков. Кэширование ценно в навыках, которые включают OCR и анализ изображений, что требуют затратной обработки.

Векторные и гибридные извлечения

Категории Функции
Индексирование векторов В индексе поиска добавьте векторные поля для поддержки сценариев поиска векторов . Векторные поля могут сосуществовать с невекторными полями в том же документе поиска.
Векторные запросы Сформулировать одиночные и несколько векторных запросов.
Алгоритмы поиска векторов Используйте иерархическую навигацию в малом мире (HNSW) или исчерпывающий поиск K-ближайших соседей (KNN), чтобы найти аналогичные векторы в индексе поиска.
Векторные фильтры Примените фильтры до или после выполнения запроса для повышения точности во время получения информации.
Получение гибридных сведений Осуществите поиск концепций и ключевых слов в одном гибридном запросе.

Гибридный поиск объединяет векторный и текстовый поиск с необязательной семантической ранжированием и настройкой релевантности для наилучших результатов.
Интегрированные блоки данных и векторизация Собственное разбиение данных с помощью навыка разделения текста. Встроенная векторизация с помощью vectorizers, а также навыки внедрения векторов, такие как Azure OpenAI Embedding, Azure Vision multimodal (предварительная версия) и AML, которые можно использовать для подключения к конечным точкам в каталоге моделей Microsoft Foundry.

Встроенная векторизация предоставляет сквозной конвейер индексирования из исходных файлов в запросы.
Встроенное сжатие векторов и квантизация Используйте встроенную скалярную и двоичную квантизацию , чтобы уменьшить размер векторного индекса в памяти и на диске. Вы также можете отказаться от хранения ненужных вам векторов или назначать узкие типы данных полям векторов, чтобы снизить требования к хранилищу.

Классический полный текст и другие формы запросов

Категории Функции
Поиск текста в свободной форме Полнотекстовый поиск — это основной вариант использования для большинства приложений на основе поиска. Запросы можно сформулировать с помощью поддерживаемого синтаксиса.

Простой синтаксис запроса предоставляет логические операторы, операторы поиска фраз, операторы суффикса, операторы приоритета.

Полный синтаксис запросов Lucene включает все операции в простом синтаксисе с расширениями для нечеткого поиска, поиска по близости, усиления терминов и регулярных выражений.
Актуальность Простое ранжирование является ключевым преимуществом Поиск с использованием ИИ Azure. Используйте профили оценки для моделирования релевантности в качестве функции значений в самих документах. Например, может быть желание, чтобы новейшие или скидочные продукты отображались выше в результатах поиска. Вы также можете создавать профили оценки с помощью тегов для персонализированной оценки на основе настроек поиска клиентов, которые вы отслеживаете и храните отдельно.

Семантический ранжатор — это функция уровня "Премиум", которая повторно выполняет результаты на основе семантической релевантности запроса. В зависимости от содержимого и сценария он может значительно повысить релевантность поиска с минимальными настройками или усилиями.
Геопространственный поиск Геопространственные функции фильтруют и соответствуют географическим координатам. Можно сравнивать по расстоянию или по включению в форму многоугольника.
Фильтры и аспекты Фасетная навигация включена с помощью одного параметра запроса. Поиск с использованием ИИ Azure возвращает фасетную структуру навигации, которую можно использовать в качестве кода в списке категорий, для самостоятельной фильтрации (например, для фильтрации элементов каталога по ценовому диапазону или бренду).

Фильтры можно использовать для включения фасетной навигации в пользовательский интерфейс приложения, улучшения формулировки запросов и фильтрации на основе критериев, заданных пользователем или разработчиком. Создайте фильтры с помощью синтаксиса OData.
Взаимодействие с пользователем Автозавершение можно включить для предиктивных запросов в строке поиска.

Предложения поиска также работают с частичными текстовыми входными данными в строке поиска, но результаты являются фактическими документами в индексе, а не терминами запроса.

Синонимы связывают эквивалентные термины, которые неявно расширяют область запроса без необходимости предоставлять альтернативные термины.

Подсветка ключевых слов применяет форматирование текста к соответствующему ключевому слову в результатах поиска. Вы можете выбрать, какие поля возвращают выделенные фрагменты.

Сортировка предлагается для нескольких полей через схему индекса и затем регулируется на этапе выполнения запроса с использованием одного параметра поиска.

Постраничная навигация и ограничение частоты выполнения запросов становятся простыми благодаря тонкой настройке управления, которую предлагает Поиск с использованием ИИ Azure.

Функции безопасности

Категории Функции
Безопасность сети Правила IP для поддержки входящего брандмауэра позволяют настроить диапазоны IP-адресов, по которым служба поиска принимает запросы.

Создайте частную конечную точку с помощью Приватный канал Azure, чтобы направить все запросы через виртуальную сеть.

Периметр безопасности сети позволяет присоединить Поиск с использованием ИИ Azure к периметру безопасности сети, который включает другие ресурсы Azure, чтобы вы могли управлять доступом к сети в целостном виде.
Шифрование данных Microsoft-managed encryption-at-rest встроен в внутренний уровень хранения и неизменяем.

Управляемые ключи шифрования (CMK), которые создаются и управляются в Azure Key Vault, можно использовать для дополнительного шифрования индексов и карт синонимов. Для служб, созданных после 1 августа 2020 года, шифрование CMK распространяется на данные на временных дисках для полного двойного шифрования индексированного содержимого.
Входящий доступ Контроль доступа на основе ролей назначает роли пользователям и группам в Microsoft Entra ID для управляемого доступа к содержимому и операциям поиска. Вы также можете использовать проверку подлинности на основе ключей , если вы не хотите использовать назначения ролей.

Управление доступом на уровне документа фильтрует результаты поиска, которые пользователь не авторизован для просмотра. Для нескольких источников данных, если источник данных предоставляет модель управления доступом, можно настроить индекс для наследования метаданных разрешений пользователя.
Безопасность исходящего трафика (индексаторы) Подключения данных через приватные конечные точки позволяет индексатору подключаться к ресурсам Azure, защищённым через Приватный канал Azure. <n;c0 /><n;c1 /><n;c3><n;c2>Подключение к данным через настроенные удостоверения</c2></c3> аутентифицирует соединения с ресурсами Azure, используя объект безопасности Microsoft Entra, что позволяет избежать хранения и передачи захардкоженных API-ключей.<n;c4 /><n;c5 /><n;c7><n;c6>Доступ к данным с помощью доверенной учетной записи</c6></c7> означает, что в строках подключения к внешним источникам данных можно опустить имена пользователей и пароли. Когда индексатор подключается к источнику данных, ресурс разрешает подключение, если служба поиска ранее зарегистрирована в качестве доверенной службы (применяется только к служба хранилища Azure только).

Возможности портала

Категории Функции
Средства для создания прототипов и проверки Add index — это конструктор индексов на портале Azure, который можно использовать для создания базовой схемы, состоящей из полей атрибутов и нескольких других параметров. После сохранения индекса его можно заполнить с помощью пакета SDK или REST API для предоставления данных.

Импорт данных — это мастер, который создает комплексный конвейер индексирования, включая индекс, индексатор, набор навыков и определение источника данных для поиска ключевых слов и сценариев RAG. Для RAG он также обрабатывает блоки данных и векторизацию. Если ваши данные находятся в Azure, этот мастер может сэкономить значительное время и усилия, особенно полезен для исследования и изучения концепции.

Обозреватель поиска используется для тестирования запросов и уточнения профилей оценки.

Создание демонстрационного приложения используется для создания HTML-страницы, которую можно использовать для тестирования интерфейса поиска.

Сеансы отладки — это визуальный редактор, который позволяет выполнять интерактивную отладку набора навыков. В нем показаны зависимости, выходные данные и преобразования.
Мониторинг и диагностика Включите функции мониторинга, чтобы выйти за рамки показателей, которые всегда видны на портале Azure. Метрики по запросам в секунду, задержке в передаче данных и ограничению скорости записываются и отображаются на страницах портала без дополнительной настройки.

Программируемость

Категории Функции
ОСТАЛЬНЫЕ REST API службы предназначен для операций в плоскости данных, включая все операции, связанные с индексированием, выполнением запросов, обогащением с помощью ИИ и агентным поиском. Эту клиентную библиотеку можно также использовать для получения сведений о системе и статистике.

Management REST API предназначен для создания и подготовки служб через Azure Resource Manager. Этот API также можно использовать для управления ключами и емкостью.
Azure SDK для .NET Azure. Search.Documents предназначен для операций плоскости данных, включая все операции, связанные с индексированием, запросами и обогащением ИИ. Эту клиентную библиотеку можно также использовать для получения сведений о системе и статистике.

Microsoft.Azure. Management.Search предназначен для создания и подготовки служб с помощью Azure Resource Manager. Этот API также можно использовать для управления ключами и емкостью.
Azure SDK для Java com.azure.search.documents предназначен для операций плоскости данных, включая все операции, связанные с индексированием, запросами и обогащением ИИ. Эту клиентную библиотеку можно также использовать для получения сведений о системе и статистике.

com.microsoft.azure.management.search предназначен для создания и подготовки служб через Azure Resource Manager. Этот API также можно использовать для управления ключами и емкостью.
Azure SDK для Python Azure-search-documents предназначен для операций плоскости данных, включая все операции, связанные с индексированием, запросами и обогащением ИИ. Эту клиентную библиотеку можно также использовать для получения сведений о системе и статистике.

azure-mgmt-search предназначен для создания и подготовки служб через Azure Resource Manager. Этот API также можно использовать для управления ключами и емкостью.
Azure SDK для JavaScript/TypeScript Azure/search-documents предназначен для операций плоскости данных, включая все операции, связанные с индексированием, запросами и обогащением ИИ. Эту клиентную библиотеку можно также использовать для получения сведений о системе и статистике.

azure/arm-search предназначен для создания и развертывания службы через Azure Resource Manager. Этот API также можно использовать для управления ключами и емкостью.
  • Last updated on