Настройте кэш обогащения (предварительная версия)

Note

Поиск с использованием ИИ Azure доступна через портал Azure, REST API и Azure SDKs. Он также лежит в основе Foundry IQ — управляемого слоя знаний, который преобразует корпоративный контент в многократно используемые базы знаний с учетом разрешений доступа для агентов на портале Microsoft Foundry.

Важно

Функции, возможности или свойства, помеченные (предварительная версия), не охватываются соглашением об уровне обслуживания, не рекомендуются для рабочих нагрузок и могут изменяться или ограничиваться до того, как они становятся общедоступными. Условия предварительной версии Поиск с использованием ИИ Azure применяются ко всем функциям предварительной версии, независимо от того, является ли он автономным или частью общедоступной функции.

В этой статье объясняется, как добавить кэширование в конвейер набора навыков, чтобы можно было изменять подчиненные шаги обогащения без полного перестроения каждый раз. Кэширование обогащения (предварительная версия) требует REST API предварительной версии. По умолчанию набор умений является без сохранения состояния, а любые изменения в его составе требуют полного повторного запуска индексатора. При использовании кэша обогащения индексатор определяет, какие части дерева документов должны обновляться на основе изменений определения набора навыков или индексатора. Индексатор сохраняет и повторно использует существующие обработанные выходные данные по возможности.

Кэшированное содержимое размещается в служба хранилища Azure с помощью предоставленного вами строка подключения. Индексатор создает эти объекты при запуске. Считайте кэш обогащения внутренним компонентом, которым управляет ваша служба поиска и который нельзя изменять.

Важно

Кэш обогащения не является резервной копией выходных данных набора навыков, состояния индексатора или индексированных документов. Он не отслеживает, какие документы завершают обработку. Для больших источников данных ознакомьтесь с разделом "Ограничения" , прежде чем включать кэширование.

  • Контейнер с именем ms-az-search-indexercache-<alpha-numeric-string>
  • Таблицы, названные MsAzSearchIndexerCacheIndex<alpha-numeric-string>

Необходимые условия

  • служба хранилища Azure для хранения кешированных данных для обогащения. Учетная запись хранения должна быть общего назначения версии 2.

  • Для индексирования блобов только в том случае, если требуется синхронизированное удаление документа из кэша и индекса при удалении блобов из вашего источника данных, включите политику удаления в индексаторе. Без этой политики удаление документов из кэша не поддерживается.

Вы должны быть знакомы с настройкой индексаторов и наборов навыков. Начните с обзора индексатора , а затем перейдите к наборам навыков , чтобы узнать о конвейерах обогащения.

Ограничения

Осторожно

Если вы используете индексатор SharePoint (предварительная версия), избегайте добавочного обогащения. При определенных обстоятельствах кэш становится недействительным. Чтобы перезагрузить его, выполните сброс индексатора и полное перестроение.

Большие источники данных имеют дополнительное ограничение кэша.

Осторожно

Для больших источников данных кэш обогащения может увеличить общий объем повторной обработки при длительном выполнении навыков, повторяющихся прерываниях или частых сбоях в работе навыков. Индексатор отдаёт приоритет корректности, а не минимизации повторной обработки, поэтому накопившаяся из-за повторяющихся прерываний очередь кэша усиливает склонность к повторным попыткам. Это поведение ожидается, а не ошибка.

Чтобы устранить растущее отставание кэша, разделите источник данных на более мелкие контейнеры или виртуальные папки. Затем используйте параллельные индексаторы , указывающие на тот же индекс. Чтобы отвязать кэш, задайте свойству cache значение null в индексаторе. Дополнительные сведения о шаблоне секционирования см. в разделе "Индексирование больших наборов данных ".

Разрешения

Для идентификатора Поиск с использованием ИИ Azure требуется доступ на запись к службе хранилища Azure:

  • Участник данных BLOB-объектов хранилища
  • Поставщик доступа к данным таблицы хранилища

Синтаксис строка подключения определяет, используется ли системная или пользовательская идентификация. Для получения дополнительной информации см. Подключение к служба хранилища Azure с помощью управляемого удостоверения.

Установка свойства кэша

Используйте эту процедуру для новых и существующих индексаторов.

В определении индексатора задайте следующие значения cache :

  • (Обязательно) storageConnectionString установить строку подключения служба хранилища Azure.
  • (Необязательно) enableReprocessing (true по умолчанию). Установите значение false для временной приостановки добавочного обогащения, а затем переключите обратно на true позднее.
  1. Слева выберите индексаторы.

  2. Выберите "Добавить индексатор" , чтобы создать индексатор или открыть существующий в режиме редактирования JSON.

  3. Включите инкрементальное обогащение, установите учетную запись для хранения кэша обогащения и сохраните индексатор.

    Скриншот параметра в портале Azure для кэша обогащения.

  4. Сбросьте индексатор, если он уже существует.

  5. Запустите индексатор. Это однократная полная пересборка, которая инициирует кэш. После загрузки добавочное повторное использование применяется к последующим запускам.