Мониторинг поиска по искусственному интеллекту Azure

Note

Поиск с использованием ИИ Azure доступна через портал Azure, REST API и Azure SDKs. Он также лежит в основе Foundry IQ — управляемого слоя знаний, который преобразует корпоративный контент в многократно используемые базы знаний с учетом разрешений доступа для агентов на портале Microsoft Foundry.

В этой статье рассматриваются следующие вопросы:

  • Типы данных мониторинга, которые можно собирать для этой службы.
  • Способы анализа данных.

Note

Если вы уже знакомы с этой службой и (или) Azure Monitor и просто хотите знать, как анализировать данные мониторинга, см . раздел "Анализ " в конце этой статьи.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает данные мониторинга в метрики и журналы на основе типов ресурсов, которые также называются пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Дополнительные сведения о типах ресурсов для Поиск с использованием ИИ Azure см. в справочнике данных мониторинга поиска Azure AI.

Хранилище данных

Для Azure Monitor:

  • Данные метрик хранятся в базе данных метрик Azure Monitor.
  • Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это средство в портале Azure, которое может запрашивать это хранилище.
  • Журнал действий Azure — это отдельное хранилище с собственным интерфейсом в портале Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают хранилище Azure, размещенные партнерские системы и партнёрские системы, не относящиеся к Azure, с помощью Центров обработки событий.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

  • По отдельности определяется для каждого пространства имен.
  • Хранится в базе данных метрик временных рядов Azure Monitor.
  • Легкий и способный обеспечивать оповещения практически в режиме реального времени.
  • Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация: Вы также можете направлять некоторые метрики платформы в Azure Monitor Logs / Log Analytics, чтобы выполнять запросы к ним вместе с другими журнальными данными. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

В Службе поиска ИИ Azure метрики платформы измеряют производительность запросов, объем индексирования и вызов набора навыков. Если вы используете модель ценообразования без сервера, вы измеряете потребляемые вычислительные единицы. Список доступных метрик для ИИ поиска Azure см. в справочнике по данным мониторинга Поиск с использованием ИИ Azure.

Сведения о том, как анализировать производительность запросов и индексов, см. в статье "Анализ производительности в поиске ИИ Azure".

Журналы ресурсов Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Лог-файлы организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор: Журналы ресурсов не собираются и не хранятся, пока вы не создадите настройку диагностики и не перенаправите журналы в одно или несколько мест. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и обслуживания настроек диагностики, включая использование портала Azure, программное управление и через Политику Azure.

Маршрутизация: рекомендуемая настройка по умолчанию — маршрутизация журналов ресурсов в Azure Monitor Logs позволит вам делать запросы вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Для получения дополнительной информации см. журналы ресурсов Azure и назначения журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Доступные категории журналов ресурсов, связанные таблицы Log Analytics и схемы журналов для поиска ИИ Azure см . в справочнике по данным мониторинга поиска ИИ Azure.

Журнал действий Azure

Журнал действий содержит события уровня подписки, отслеживающие операции для каждого ресурса Azure, как видно извне этого ресурса; например, создание нового ресурса или запуск виртуальной машины.

Коллекция: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра в портале Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

В службе "Поиск ИИ Azure" журналы действий отражают действия уровня управления, такие как создание службы и настройка, а также использование ключа API или управление ими. Записи часто включают Получить ключ администратора, одну запись для каждого вызова, который предоставил ключ API администратора в запросе. Нет никаких сведений о самом вызове, просто уведомление об использовании ключа администратора.

Ключи API можно отключить для операций плоскости данных, таких как создание или запрос индекса, но на управляющей плоскости они используются в портале Azure для возврата информации о службе. Операции плоскости управления могут запрашивать ключи API, чтобы продолжать просматривать запросы, связанные с ключами, в журнале действий, даже если отключить проверку подлинности на основе ключей.

На следующем снимке экрана показаны сигналы журнала действий поиска в Azure AI, которые можно настроить в оповещении.

Снимок экрана: сигналы журнала действий, которые можно использовать в оповещении.

Для получения сведений о других записях обратитесь к справочнику по REST API управления для действий плоскости управления, которые могут появиться в журнале.

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

Средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

Средства, которые позволяют более сложной визуализации, включают:

  • Информационные панели, позволяющие объединить различные виды данных в одну область внутри портала Azure.
  • Рабочие книги, настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, метрики и запросы журналов.
  • Grafana — открытая платформа, которая прекрасно подходит для создания операционных панелей мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
  • Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Инструменты экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

Для получения информации о начале работы с REST API для Azure Monitor см. пошаговое руководство по REST API мониторинга Azure.

Запросы для Kusto

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Important

При выборе Журналы в меню службы на портале откроется Log Analytics с областью запроса, установленной для текущей службы. Эта область означает, что запросы журналов будут включать только данные из этого типа ресурса. Если вы хотите выполнить запрос, содержащий данные из других служб Azure, выберите журналы в меню Azure Monitor . Подробные сведения см. в статье Область запросов журнала и временной диапазон в Azure Monitor Log Analytics.

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Следующие запросы помогут вам начать. Дополнительные примеры и рекомендации, относящиеся к службе поиска, см. в "Анализ производительности в Поиск с использованием ИИ Azure".

Перечисление метрик по имени

Возвращает список метрик и связанную агрегацию. Запрос ограничен текущей службой поиска в указанном вами диапазоне времени.

AzureMetrics
| project MetricName, Total, Count, Maximum, Minimum, Average

Перечисление операций по имени

Верните список операций и количество каждой.

AzureDiagnostics
| summarize count() by OperationName

Alerts

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространенных оповещений для ресурсов Azure см. в запросах на оповещения журнала. Сайт базовых оповещений Azure Monitor (AMBA) предоставляет полуавтоматический метод реализации важных оповещений метрик платформы, панелей управления и рекомендаций. Сайт применяется к постоянно расширяющемуся подмножеству служб Azure, включая все службы, которые являются частью зоны приземления Azure (ALZ).

Общая схема оповещений стандартизирует обработку уведомлений от Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете получать оповещения о любых источниках данных метрик или журналов на платформе данных Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

  • Оповещения метрик оценивают метрики ресурсов на регулярной основе. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Оповещения метрик также могут применять несколько условий и динамические пороговые значения.
  • Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов на предопределенной частоте.
  • Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о работоспособности ресурсов и оповещения о работоспособности служб являются оповещениями журнала действий, которые информируют о состоянии работоспособности ваших служб и ресурсов.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Правила генерации оповещений поиска ИИ Azure

В следующей таблице перечислены распространенные и рекомендуемые правила генерации оповещений для поиска ИИ Azure. В службе поиска регулирование или задержка запросов, превышающая заданное пороговое значение, являются наиболее часто используемыми оповещениями, но при удалении службы поиска также может потребоваться получать уведомления.

Оповещения можно настроить таким образом, чтобы вы получили текст электронной почты или SMS в зависимости от ваших предпочтений.

Тип оповещения Condition Description
Оповещение о задержке поиска (метрическое оповещение) Каждый раз, когда средняя задержка поиска превышает заданное пользователем пороговое значение (в секундах) Отправьте оповещение, когда среднее время отклика запроса превышает пороговое значение.
Ограниченный процент запросов поиска (оповещение о метрике) Каждый раз, когда общий процент регулируемых поисковых запросов превышает или равен заданному пользователем порогового значения. Отправьте оповещение, когда число отброшенных запросов начнет превышать порог.
Использование хранилища Если общее использование хранилища превышает пороговое значение, определяемое пользователем, активируйте оповещение. Используйте измерение «Имя индекса» для мониторинга конкретных сценариев. Отправьте оповещение, если использование хранилища превышает ожидаемое ограничение.
Использование вычислительных ресурсов Если общее использование хранилища превышает пороговое значение, определяемое пользователем, активируйте оповещение. Используйте измерения имени операции и имени индекса для мониторинга конкретных сценариев. Отправьте оповещение, когда вычислительные ресурсы начинают превышать пороговое значение.

Рекомендации помощника

Для некоторых служб, если критические условия или неизбежные изменения происходят во время операций ресурсов, на странице обзора службы на портале отображается оповещение. Вы можете найти дополнительную информацию и рекомендуемые исправления для оповещения в рекомендациях Помощника в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Дополнительные сведения об Помощник по Azure см. в разделе обзор Помощник по Azure.

Связанный контент

  • Last updated on