Note
Foundry IQ (Azure AI 검색)는 관리 검색을 위해 고급 수준의 지식 원본 API 및 지식 베이스 API와 함께 직접 인덱싱 및 쿼리 API를 제공합니다. Azure 포털, REST API 또는 Azure SDK 사용하여 이러한 기능을 구성하거나 Microsoft Foundry 포털의 기술 자료에 에이전트를 연결합니다.
이 문서에서는 Azure AI 검색(Foundry IQ)에서 쿼리 및 인덱싱 성능을 분석하기 위한 도구, 동작 및 방법을 설명합니다.
이 문서는 클래식 검색, 전체 텍스트 검색 시나리오에만 적용됩니다.
기준 수치 개발
대규모 구현에서는 프로덕션 환경에 배포하기 전에 Foundry IQ 서비스의 성능 벤치마킹 테스트를 수행하는 것이 중요합니다. 예상되는 검색 쿼리 부하 뿐 아니라 예상 데이터 수집 워크로드도 모두 테스트해야 합니다(가능하다면 두 워크로드를 동시에 실행해 보는 것이 좋습니다). 벤치마크 수치를 통해 적절한 검색 계층, 서비스 구성 및 예상 쿼리 대기 시간을 확인할 수 있습니다.
분산 서비스 아키텍처의 영향을 분리해서 확인하려면 하나의 복제본과 하나의 파티션에 대해 서비스 구성을 테스트를 수행해보세요.
Note
스토리지 최적화 계층(L1 및 L2)을 사용할 경우 쿼리 처리량은 낮고 응답 대기는 표준 계층보다 길어질 수 있습니다.
리소스 로깅 사용
관리자가 처분시 활용 할 수 있는 가장 중요한 진단 도구는 리소스 로깅입니다. 리소스 로깅은 Foundry IQ 서비스에 대한 운영 데이터 및 메트릭의 컬렉션입니다. 리소스 로깅은 Azure Monitor를 통해 사용하도록 설정됩니다. Azure Monitor 사용 및 데이터 저장에 대한 비용이 들지만 서비스에 사용하도록 설정하면 성능 문제를 조사하는 데 도움이 될 수 있습니다.
아래 이미지는 쿼리 요청 및 응답 과정에서 발생하는 이벤트 체인을 나타냅니다. 대기 시간은 네트워크 전송 중, 앱 서비스 계층의 콘텐츠 처리 또는 Foundry IQ 서비스에서 발생할 수 있습니다. 리소스 로깅의 주요 이점은 활동이 Foundry IQ 서비스 관점에서 기록된다는 것입니다. 즉, 로그는 성능 문제가 쿼리 또는 인덱싱 문제 또는 다른 실패 지점 때문인지 확인하는 데 도움이 될 수 있습니다.
리소스 로깅을 사용하면 기록된 정보를 저장할 수 있는 다양한 옵션을 제공합니다. 사용량 및 성능에 관한 다양한 질문에 답할 수 있도록 데이터를 대상으로 고급 Kusto 쿼리를 실행하려면 Log Analytics 사용을 권장합니다.
Foundry IQ 서비스 포털 페이지에서 진단 설정을 통해 로깅을 사용하도록 설정한 다음 로그를 선택하여 Log Analytics에 대해 Kusto 쿼리를 실행할 수 있습니다. 리소스 로그를 Log Analytics 작업 영역으로 전송하고, 로그 쿼리를 통해 분석하는 방법을 알아보려면 Azure 리소스에서 로그 수집 및 분석을 확인하세요.
제한 동작
제한은 Foundry IQ 서비스가 용량에 있을 때 발생합니다. 제한은 쿼리 또는 인덱싱 중에도 발생할 수 있습니다. API 호출이 제한에 걸리면 클라이언트에서는 503 HTTP 응답을 받게 됩니다. 인덱싱 중에는 207 HTTP 응답을 받을 가능성도 있으며 이는 하나 이상의 항목이 인덱싱에 실패했음을 나타냅니다. 이 오류는 Foundry IQ 서비스가 용량에 가까워지고 있음을 나타내는 지표입니다.
경험을 바탕으로 제한 발생량과 발생 패턴을 정량적으로 기록해 보세요. 예를 들어 500,000개의 검색 쿼리 중 하나만 제한되는 경우, 별도로 조사할 필요가 없을 수도 있습니다. 그러나 일정 기간 동안 많은 비율의 쿼리가 제한되면 큰 문제가 될 수 있습니다. 일정 기간 동안 제한 현황을 살펴보면, 제한이 발생할 가능성이 높은 시간대를 식별하고 이에 대한 최적 대응 방안을 결정할 수 있습니다.
대부분의 제한 문제에 대한 간단한 해결 방법은 Foundry IQ 서비스(일반적으로 쿼리 기반 제한의 복제본 또는 인덱싱 기반 제한을 위한 파티션)에서 더 많은 리소스를 throw하는 것입니다. 그러나 복제본 또는 파티션을 늘리면 비용이 증가하므로 제한이 발생하는 원인을 먼저 파악하는 것이 중요합니다. 제한을 일으키는 조건을 조사하는 방법은 다음의 몇 개 섹션에서 설명합니다.
다음은 부하가 걸린 Foundry IQ 서비스의 HTTP 응답 세부 내역을 식별할 수 있는 Kusto 쿼리의 예입니다. 7일간의 데이터를 기반으로 생성된 렌더링된 막대 차트는 성공(200개) 응답 대비 상당 비율의 검색 쿼리가 제한되었음을 나타냅니다.
AzureDiagnostics
| where TimeGenerated > ago(7d)
| summarize count() by resultSignature_d
| render barchart
특정 기간 동안 제한 현황을 분석하면 제한이 더 자주 발생할 수 있는 시간대를 파악하는 데 도움이 됩니다. 아래 예에서 시계열 차트는 지정된 시간 프레임 동안 발생한 제한된 쿼리 수를 표시하는 데 사용됩니다. 이 사례에서는 제한된 쿼리가 성능 벤치마킹 수행 시간대와 상관관계가 있음을 보여줍니다.
let ['_startTime']=datetime('2024-02-25T20:45:07Z');
let ['_endTime']=datetime('2024-03-03T20:45:07Z');
let intervalsize = 1m;
AzureDiagnostics
| where TimeGenerated > ago(7d)
| where resultSignature_d != 403 and resultSignature_d != 404 and OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete")
| summarize
ThrottledQueriesPerMinute=bin(countif(OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete") and resultSignature_d == 503)/(intervalsize/1m), 0.01)
by bin(TimeGenerated, intervalsize)
| render timechart
개별 쿼리 측정
특정 사례에서는 개별 쿼리를 테스트하여 성능을 확인하는 것이 도움이 됩니다. 이렇게 하려면 Foundry IQ 서비스가 작업을 완료하는 데 걸리는 시간과 클라이언트에서 다시 클라이언트로 왕복 요청을 수행하는 데 걸리는 시간을 확인할 수 있어야 합니다. 진단 로그를 통해 개별 작업을 조회할 수 있으나 REST 클라이언트를 통해 모두 수행하는 것이 더 쉬울 수 있습니다.
아래 예에서는 REST 기반의 검색 쿼리가 실행되었습니다. Foundry IQ는 모든 응답에 "경과된 시간"의 헤더 탭에 표시되는 쿼리를 완료하는 데 걸리는 시간(밀리초)을 포함합니다. 응답 맨 위에 있는 상태 옆에는 왕복 기간(이 경우 125밀리초)이 있습니다. 결과 섹션에서 "헤더" 탭을 선택했습니다. 아래 이미지에서 빨간색 상자로 강조 표시된 이 두 값을 사용하면 Foundry IQ 서비스가 검색 쿼리를 완료하는 데 21ms가 걸렸고 전체 클라이언트 왕복 요청이 125ms를 차지했습니다. 이 두 숫자를 빼서 검색 쿼리를 Foundry IQ 서비스로 전송하고 검색 결과를 클라이언트로 다시 전송하는 데 104ms의 추가 시간이 소요되었는지 확인할 수 있습니다.
이 기술을 통해 쿼리 성능에 영향을 미치는 다른 요인과 네트워크 지연 시간을 분리하여 확인하는 데 도움이 됩니다.
쿼리 속도
Foundry IQ 서비스가 요청을 제한하는 잠재적인 이유 중 하나는 볼륨이 QPS(초당 쿼리) 또는 QPM(분당 쿼리)으로 캡처되는 쿼리 수가 엄청나게 많기 때문입니다. Foundry IQ 서비스가 더 많은 QPS를 받으면 더 이상 유지할 수 없을 때까지 이러한 쿼리에 응답하는 데 더 오래 걸리며, 이로 인해 제한 503 HTTP 응답을 다시 보냅니다.
다음 Kusto 쿼리는 쿼리의 평균 기간(밀리초)(AvgDurationMS) 및 각 쿼리에서 반환된 평균 문서 수(AvgDocCountReturned)와 함께 QPM으로 측정된 쿼리 볼륨을 보여 줍니다.
AzureDiagnostics
| where OperationName == "Query.Search" and TimeGenerated > ago(1d)
| extend MinuteOfDay = substring(TimeGenerated, 0, 16)
| project MinuteOfDay, DurationMs, Documents_d, IndexName_s
| summarize QPM=count(), AvgDuractionMs=avg(DurationMs), AvgDocCountReturned=avg(Documents_d) by MinuteOfDay
| order by MinuteOfDay desc
| render timechart
Tip
이 차트 뒤의 데이터를 표시하려면 | render timechart 줄을 제거한 다음 쿼리를 다시 실행합니다.
인덱싱이 쿼리에 미치는 영향
성능을 평가할 때 중요한 요소 중 하나는 인덱싱이 검색 쿼리와 동일한 리소스를 사용한다는 점입니다. 많은 양의 콘텐츠를 인덱싱하는 경우 서비스가 두 가지 작업 부하를 동시에 처리하려고 시도함에 따라 대기 시간이 증가할 수 있습니다.
쿼리 응답 속도가 저하될 경우 쿼리 성능 저하가 인덱싱 작업 시간과 일치하는지 확인하세요. 예를 들어 인덱서가 검색 쿼리의 성능 저하와 관련된 일별 또는 시간별 작업을 실행하고 있을 수 있습니다.
이 섹션에서는 검색 및 인덱싱 속도를 시각화하는 데 도움이 되는 일련의 쿼리를 제공합니다. 이러한 예에서는 시간 범위가 쿼리에서 설정됩니다. Azure Portal에서 쿼리를 실행할 때 쿼리에서 설정 을 지정해야 합니다.
평균 쿼리 대기 시간
아래 쿼리에서는 검색 쿼리의 평균 대기 시간을 표시하기 위해 1분 간격 크기를 사용합니다. 차트를 보면 평균 대기 시간이 오후 5시 45분까지 까지 낮게 유지되었고 오후 5시 53분까지 지속되었습니다.
let intervalsize = 1m;
let _startTime = datetime('2024-02-23 17:40');
let _endTime = datetime('2024-02-23 18:00');
AzureDiagnostics
| where TimeGenerated between(['_startTime']..['_endTime']) // Time range filtering
| summarize AverageQueryLatency = avgif(DurationMs, OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete"))
by bin(TimeGenerated, intervalsize)
| render timechart
QPM(분당 평균 쿼리 수)
다음 쿼리를 통해 분당 평균 쿼리 수를 살펴보고 대기 시간에 영향을 줄 수 있는 검색 요청이 급증 여부를 확인합니다. 차트를 보면 약간의 변동은 있지만 요청 수의 급증을 나타내는 지표는 없습니다.
let intervalsize = 1m;
let _startTime = datetime('2024-02-23 17:40');
let _endTime = datetime('2024-02-23 18:00');
AzureDiagnostics
| where TimeGenerated between(['_startTime'] .. ['_endTime']) // Time range filtering
| summarize QueriesPerMinute=bin(countif(OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete"))/(intervalsize/1m), 0.01)
by bin(TimeGenerated, intervalsize)
| render timechart
OPM(분당 인덱싱 작업)
여기에서는 시간(분) 인덱싱된 작업 수를 살펴보겠습니다. 차트를 보면 많은 양의 데이터 인덱싱이 오후 5시 42분에 시작되어 오후 5시 50분에 종료된 것을 확인 할 수 있습니다. 해당 인덱싱은 검색 쿼리가 지연되기 시작하기 3분 전에 시작되었고 검색 쿼리 지연이 끝나기 3분 전에 종료되었습니다.
이러한 점을 통해 Foundry IQ 서비스가 인덱싱이 쿼리 지연 시간에 영향을 미칠 정도로 바빠지기까지 약 3분이 걸렸다는 것을 알 수 있습니다. 또한 인덱싱이 완료된 후 Foundry IQ 서비스가 새로 인덱싱된 콘텐츠의 모든 작업을 완료하고 쿼리 대기 시간을 해결하는 데 3분이 더 걸렸다는 것을 알 수 있습니다.
let intervalsize = 1m;
let _startTime = datetime('2024-02-23 17:40');
let _endTime = datetime('2024-02-23 18:00');
AzureDiagnostics
| where TimeGenerated between(['_startTime'] .. ['_endTime']) // Time range filtering
| summarize IndexingOperationsPerSecond=bin(countif(OperationName == "Indexing.Index")/ (intervalsize/1m), 0.01)
by bin(TimeGenerated, intervalsize)
| render timechart
백그라운드 서비스 처리
쿼리 또는 인덱싱 대기 시간이 간헐적으로 급증하는 것이 일반적인 현상입니다. 이러한 급증은 인덱싱 작업이나 높은 쿼리 속도에 대한 응답에 의해 발생할 수도 있고 합병 과정 중에도 발생할 수 있습니다. 검색 인덱스는 청크 또는 분할 단위로 저장됩니다. 시스템은 주기적으로 작게 분할된 데이터베이스를 큰 분할 데이터베이스로 병합하며 이는 서비스 성능을 최적화하는 데 도움이 됩니다. 해당 병합 프로세스는 이전에 인덱스에서 삭제 대상으로 표시된 문서도 함께 정리되며 그 결과 저장 공간이 복구됩니다.
분할된 데이터베이스 병합의 처리 속도는 빠르지만 리소스 집약적인 작업이므로 서비스 성능 저하를 유발할 수 있습니다. 짧은 시간 동안 쿼리 대기 시간이 급증하고 최근 인덱싱 변경과 동시에 나타난다면 이는 분할된 병합 작업으로 인한 것이라고 판단할 수 있습니다.
다음 단계
서비스 성능 분석과 관련된 문서를 리뷰하세요.