Архив за 2024 год: "Новые возможности в Azure AI Search"

Ознакомьтесь с новинками в поиске ИИ Azure, чтобы узнать о последних объявлениях.

Месяц Тип Объявление
декабрь Template Чат RAG с ИИ-поиском Azure и Python. Шаблон приложения искусственного интеллекта для создания решения RAG с помощью поиска ИИ Azure и Python.
Ноябрь Безопасность Периметр безопасности сети. Присоедините службу поиска к периметру безопасности сети для управления доступом к службе поиска. Портал Azure и REST API управления в предварительной версии 2024-06-01-preview можно использовать для просмотра и согласования конфигураций периметра безопасности сети.
Ноябрь Безопасность Поддержка общедоступных частных ссылок для подключений к сервисам искусственного интеллекта Azure. Подключения к Azure AI для встроенной обработки навыков теперь могут быть закрытыми с помощью общей приватной ссылки на подключение.
Ноябрь Актуальность Параметры пересчета сжатых векторов. Вы можете задать параметры для пересчета с использованием исходных векторов вместо сжатых векторов. Применяется к HNSW и исчерпывающим алгоритмам векторов KNN, используя двоичное и скалярное сжатие. Доступно в функции создания или обновления индекса (2024-11-01-preview), в портале Azure и в бета-версиях пакетов Azure SDK, которые предоставляют эту функцию.
Ноябрь Векторный поиск Храните меньше экземпляров векторов. В сценариях сжатия векторов можно опустить хранение полных векторов точности, если их не требуется для повторной обработки. Доступно в функции создания или обновления индекса (2024-11-01-preview), в портале Azure и в бета-версиях пакетов Azure SDK, которые предоставляют эту функцию.
Ноябрь Актуальность Перезапись запроса в семантическом ранжировщике. Параметры семантического запроса можно задать для перезаписи входных данных запроса в измененный или развернутый запрос, который создает более релевантные результаты из рангера L2. Доступно в документах поиска (2024-11-01-preview), портале Azure и в бета-версиях пакетов Azure SDK с поддержкой этой функции.
Ноябрь Актуальность Новые модели семантического ранжирования. Семантический рангер работает с улучшенными моделями во всех поддерживаемых регионах. Нет изменений в API или интерфейсе портала Azure.
Ноябрь Примененный ИИ (навыки) Навык работы с макетом документа. Новый навык, используемый для анализа структуры документа и предоставления фрагментации с учетом структуры абзацев. Этот навык вызывает аналитику документов Azure в средствах Foundry и использует модель макета аналитики документов Azure. Доступно в выбранных регионах через Создать или обновить набор навыков (2024-11-01-preview), портал Azure и в бета-версиях пакетов SDK Azure, которые предоставляют эту функцию.
Ноябрь Примененный ИИ (навыки) Выставление счетов без необходимости ключа для обработки возможностей ИИ Azure. Теперь вы можете использовать управляемое удостоверение и роли для бесключевого подключения к Средствам Foundry для обработки встроенных навыков. Эта возможность удаляет ограничения для поиска и средств Foundry в одном регионе. Доступно в Создайте или обновите наборы навыков (2024-11-01-preview), в портале Azure и в бета-версиях пакетов SDK Azure, предоставляющих эту функцию.
Ноябрь Источник данных индексатора Режим синтаксического анализа Markdown. С помощью этого режима синтаксического анализа индексаторы могут создавать документы поиска "один к одному" или "один ко многим" из файлов Markdown в службе хранилища Azure и Microsoft OneLake. Доступно в средстве создания или обновления индексатора (2024-11-01-preview), портале Azure и в бета-версиях пакетов SDK Azure, которые предоставляют эту функцию.
Ноябрь API 2024-11-01-preview. Предварительный выпуск REST API-ов для перезаписи запросов, навыка оформления документов, бесключевой обработки навыков, режима разбора Markdown и параметров пересчета сжатых векторов.
Ноябрь Функция Поддержка структурированных данных на портале. Мастер импорта и векторизации данных теперь поддерживает Azure SQL, Azure Cosmos DB и хранилище таблиц Azure.
Октябрь Функция Снизить требования к размерности для текстовых эмбеддинговых моделей с обучением MRL в Azure OpenAI. Text-embedding-3-small и Text-embedding-3-large обучены с помощью Matryoshka Representation Learning (MRL). Это позволяет усечь векторы внедрения до меньшего размера и настроить баланс между использованием векторного индекса и качеством извлечения. В новой функции версии truncationDimension2024-09-01-preview обеспечивается доступ к сжатию MRL в моделях встраивания текстов. Это можно настроить только для новых векторных полей.
Октябрь Функция Распакуйте @search.score для просмотра подсчётов в результатах гибридного поиска. Вы можете изучить результаты ранжирования методом Reciprocal Rank Fusion (RRF), просмотрев отдельные подбаллы запроса результата после объединения и оценки. Новое debug свойство распаковывает оценку поиска. QueryResultDocumentSubscores, QueryResultDocumentRerankerInputи QueryResultDocumentSemanticField укажите дополнительные сведения. Эти определения доступны в предварительной версии 2024-09-01-preview.
Октябрь Функция Целевые фильтры в гибридном поиске только для векторных запросов. Фильтр гибридного запроса включает все вложенные запросы в запросе независимо от типа. Вы можете переопределить глобальный фильтр, чтобы ограничить фильтрацию определенным вложенным запросом. Новый filterOverride параметр доступен в гибридных запросах при использовании версии предпросмотра 2024-09-01-preview.
Октябрь Примененный ИИ (навыки) Навык разделения текста (токенизация). Этот навык имеет новые параметры, которые улучшают разбиение данных для встраивания моделей. Новый параметр unit позволяет указать разбиение токенов на фрагменты. Теперь можно фрагментировать по длине токена, установив длину на значение, которое имеет смысл для вашей модели встраивания. Вы также можете указать токенизатор и любые токены, которые не должны быть разделены при разбиении данных на части. Новые unit определения параметров и подсчетов запроса находятся в предварительной версии 2024-09-01-preview.
Октябрь API 2024-09-01-preview. Предварительный выпуск REST API для усечённых измерений в моделях text-embedding-3, направленной фильтрации векторов для гибридных запросов, подробностей о подсчёте RRF для отладки и дробления токенов для навыка разделения текста.
Октябрь Функция Поддержка портала для шифрования ключей, управляемого клиентом (CMK). При создании новых объектов в портал Azure теперь можно указать шифрование CMK и выбрать Azure Key Vault для предоставления ключа.
август Функция Улучшения сеанса отладки. Существует два важных улучшения. Теперь вы можете отлаживать интегрированную векторизацию и блочные обработки данных. Во-вторых, сеансы отладки перепроектированы для более упрощенной презентации навыков и сопоставлений. Вы можете выбрать объект в потоке и просмотреть или изменить его сведения на боковой панели. Предыдущий макет вкладок полностью заменен более контекстно-зависимыми сведениями на странице.
август API 2024-07-01. Стабильный выпуск REST API для общедоступных типов векторных данных, сжатия векторов и интегрированной векторизации во время индексирования и запросов.
август Функция Встроенная векторизация, объявление о общедоступной доступности. Формирование и встраивание фрагментов данных, основанных на навыках, во время индексирования.
август Функция Векторизаторы. Объявление об общедоступной доступности. Преобразование текста в вектор во время выполнения запроса. Векторизатор Azure OpenAI и настраиваемый векторизатор веб-API общедоступны.
август Функция Навык AzureOpenAIEmbedding. Объявление об общедоступной доступности. Тип навыка, который вызывает модель встраивания Azure OpenAI для создания векторов во время индексирования.
август Функция Проекции индекса. Объявление об общедоступной доступности. Компонент определения набора навыков, который определяет форму вторичного индекса и поддерживает шаблон индекса "один ко многим", что позволяет содержимому конвейера обогащения быть нацеленным на несколько индексов.
август Функция Двоичная и скалярная квантизация. Объявление об общедоступной доступности. Сжатие размера векторного индекса в памяти и на диске с помощью встроенной квантизации.
август Функция Узкие типы данных. Объявление об общедоступной доступности. Назначьте меньший тип данных в векторных полях, если входящие данные являются данными этого типа данных.
август Функция Мастер импорта и векторизации данных. Объявление об общедоступной доступности. Мастер, создающий полный конвейер индексирования, включающий блоки данных и векторизацию. Мастер создает все необходимые объекты и конфигурации. В этом выпуске добавлена поддержка мастера настройки Azure Data Lake в службе хранилища Azure.
август Функция хранимое свойство. Объявление об общедоступной доступности. Логическое значение, которое уменьшает объем хранения векторных индексов, не храня извлекаемые векторы.
август Функция свойство vectorQueries.Weight. Объявление об общедоступной доступности. Укажите относительный вес каждого векторного запроса в операции поиска.
Июль Ускоритель Общаться с данными. Ускоритель разработки решений для шаблона RAG, работающего в Azure, использующий поиск Azure AI для извлечения данных и большие языковые модели Azure OpenAI для создания диалоговых поисковых интерфейсов. Код с примерами данных доступен для сценариев использования, таких как финансовый консультант и обзор контракта и сводка.
Июль Ускоритель Извлечение знаний из разговоров. Предварительно настроенное решение на базе Azure AI Search, Azure Speech в средствах Foundry и Azure OpenAI, позволяющее клиентам извлекать ценные данные из разговоров после обращения в контакт-центр.
Июль Ускоритель Создайте собственного помощника. Создайте собственное пользовательское решение copilot, которое позволяет помощнику клиента использовать возможности генерированного ИИ как в структурированных, так и неструктурированных данных. Помогите нашим клиентам оптимизировать ежедневные задачи и повысить эффективность взаимодействия с большим числом клиентов.
Июнь Функция Поиск изображений на портале Azure. Обозреватель поиска теперь поддерживает поиск изображений. В векторном индексе, содержащем векторное содержимое изображения, можно перетащить изображения в Поисковый обозреватель для поиска совпадений.
май Ограничения сервисов Более высокая емкость и больше векторной квоты на каждом уровне (одна и та же ставка выставления счетов). Для большинства регионов размеры разбиений теперь еще больше для стандартов 2 (S2), 3 (S3) и 3 высокой плотности (S3 HD) для услуг, созданных после 3 апреля 2024 года. Чтобы получить более крупные разделы, создайте новую службу в регионе, который предоставляет более новую инфраструктуру.

Оптимизированные для хранилища уровни (L1 и L2) также имеют большую емкость. Клиенты L1 и L2 должны создать новую службу, чтобы воспользоваться более высокой емкостью. В настоящее время нет возможности обновления на месте.

Дополнительная емкость теперь доступна в большем количестве регионов: Северная Германия, Центрально-Западная Германия, Северная Южная Африка, Западная Швейцария и Azure для государственного сектора (Техас, Аризона и Вирджиния).
май Функция Интеграция OneLake (предварительная версия). Новый индексатор для файлов OneLake и сочетаний клавиш OneLake. Если вы используете Microsoft OneLake для доступа к данным к источникам данных Amazon Web Services (AWS) и Google, используйте этот индексатор для импорта внешних данных в индекс поиска. Этот индексатор доступен через портал Azure, REST API 2024-05-01-preview и бета-пакеты Azure SDK.
май Функция Релевантность вектора
релевантность гибридного запроса. Четыре улучшения повышают релевантность вектора и гибридного поиска.

Во-первых, теперь можно задать пороговые значения для результатов векторного поиска, чтобы исключить результаты низкой оценки.

Во-вторых, изменения в архитектуре запросов применяют профили оценки в конце конвейера запросов для каждого типа запроса. Усиление значимости документов — это распространённый профиль оценки, который теперь работает согласно ожиданиям с векторными и гибридными запросами.

В-третьих, можно задать MaxTextRecallSize и countAndFacetMode в гибридных запросах, чтобы управлять количеством результатов поиска, ранжированных по BM25, которые поступают в гибридную модель ранжирования.

В-четвертых, для векторного и гибридного поиска можно взвесить векторный запрос, чтобы увеличить или уменьшить его важность в многозаверном запросе.
май Функция Поддержка двоичных векторов. Collection(Edm.Byte) — это новый поддерживаемый тип данных. Этот тип данных открывает интеграцию с моделями внедрения двоичного кода Cohere версии 3 и пользовательским двоичным квантованием. Узкие типы данных снижают стоимость больших векторных наборов данных. Дополнительные сведения см. в разделе "Двоичные данные индекса" для поиска векторов.
май Skill Навыки многомодального внедрения в Azure Vision (предварительная версия). Новый навык, привязанный к API многомодальных внедрений Azure Vision. Во время индексирования можно создавать внедрения для текста или изображений. Этот навык доступен через портал Azure и 2024-05-01-preview REST API.
май Векторизатор Векторизатор визуального зрения Azure (предварительная версия). Новый векторизатор подключается к ресурсу Azure Vision с помощью API многомодальных эмбеддингов для создания эмбеддингов во время выполнения запроса. Этот векторизатор доступен через портал Azure и 2024-05-01-preview REST API.
май Векторизатор Векторизатор каталога моделей Microsoft Foundry (предварительная версия). Новый векторизатор подключается к модели встраивания, развернутой из каталога моделей Foundry. Этот векторизатор доступен через портал Azure и 2024-05-01-preview REST API.

Как реализовать интегрированную векторизацию с помощью моделей из Foundry.
май Skill Навык AzureOpenAIEmbedding (предварительная версия) поддерживает больше моделей в Azure OpenAI. Теперь поддерживаются text-embedding-3-large и text-embedding-3-small, а также text-embedding-ada-002 из предыдущего обновления. Новые dimensions и modelName свойства позволяют указать различные модели внедрения в Azure OpenAI. Ранее лимиты размеров были установлены на уровне 1536 измерений и применялись только к текстовым встраиваниям ada-002. Обновленный навык доступен через портал Azure и REST API версии 2024-05-01-preview.
май Портал Мастер импорта и векторизации данных теперь поддерживает индексаторы OneLake в качестве источника данных. Для векторных представлений он также поддерживает подключения к многомодальному сервису Azure Vision, каталогу моделей Foundry и другим моделям векторов на Azure OpenAI.

При добавлении поля в индекс можно выбрать двоичный тип данных.

Search Explorer теперь по умолчанию использует версию 2024-05-01-preview и поддерживает новые функции предварительного просмотра для векторных и гибридных запросов.
май API 2024-05-01-preview. Новая предварительная версия REST API поиска предоставляет новые навыки и векторизаторы, новый двоичный тип данных, индексатор файлов OneLake и новые параметры запроса для более релевантных результатов. См. обновление REST API, если у вас есть код, написанный для версии 2023-07-01-preview, и необходимо выполнить миграцию на новую версию.
май API Бета-версии пакетов Azure SDK. Просмотрите журналы изменений следующих бета-версий пакета Azure SDK для новых функций: Пакет SDK Azure для Python, пакет SDK Azure для .NET, пакет SDK Azure для Java
май Samples Примеры кода Python. Новые комплексные примеры демонстрируют интеграцию с Cohere Embed версии 3, интеграцию с OneLake и облачными платформами данных в Google и AWS и интеграцию с многомодальными API Azure Vision.
Апрель API Обновление безопасности, касающееся утечки информации. Ответы GET больше не возвращают строки подключения или ключи. Применяется к GET Skillset, GET Index и GET Indexer. Это изменение помогает защитить ресурсы Azure, интегрированные с поиском ИИ, от несанкционированного доступа.
Апрель API Предварительная версия REST API поиска от 2024-03-01
Апрель API REST API управления 2024-03-01-preview
Апрель API Объявление о снятии с поддержки предварительной версии 2023-07-01-preview. Эта версия больше не поддерживается с 8 июля 2024 г. Более новые версии API имеют другую конфигурацию вектора. Вы должны перейти на более новую версию как можно скорее.
Апрель Ограничения сервисов Уровни "Базовый" и "Стандартный " предоставляют больше хранилища на секцию по одной и той же ставке выставления счетов за секцию. Дополнительная емкость зависит от региональной доступности и применяется к новым службам поиска, созданным после 3 апреля 2024 года. Базовый теперь поддерживает до трех разделов и трех реплик.
Апрель Ограничения сервисов Квоты векторов выше для новых служб, созданных после 3 апреля 2024 г. в выбранных регионах.
Апрель Функция Векторная квантизация, типы данных узкого вектора и новое stored свойство (предварительная версия). В совокупности эти три функции сводят к минимуму потребление памяти и затраты.
Февраль Функция Новые ограничения измерения для полей векторов. Максимальные пределы измерения теперь 3072, начиная с 2048.
  • Last updated on