Foundry IQ에서 인덱서 예약(Azure AI 검색)

참고

Foundry IQ (Azure AI 검색)는 관리형 검색을 위한 상위 수준의 지식 원본 및 지식 베이스 API와 함께 직접 인덱싱 및 쿼리 API를 제공합니다. Azure 포털, REST API 또는 Azure SDK 사용하여 이러한 기능을 구성하거나 Microsoft Foundry 포털의 기술 자료에 에이전트를 연결합니다.

일정에 schedule 따라 실행되도록 인덱서를 구성하도록 속성을 설정합니다. 인덱서 예약은 다음과 같은 상황에서 유용합니다.

  • 원본 데이터는 시간이 지남에 따라 변경되며 인덱서에서 차이를 자동으로 처리하려고 합니다.
  • 원본 데이터는 매우 크며 모든 콘텐츠를 인덱싱하려면 되풀이 일정이 필요합니다.
  • 여러 인덱서를 사용해 여러 데이터 원본에서 인덱스를 채우고 있으며, 충돌을 줄이기 위해 작업 시간을 엇갈리게 하려는 경우입니다.

되풀이 일정을 사용하여 새 원본 또는 변경된 원본 콘텐츠를 찾아냅니다. 별도로, Search는 콘텐츠 처리 실행 시간 제한으로 중단된 후 미완성 수집을 자동으로 계속할 수 있습니다. 데이터 원본이 변경 감지를 지원하는 한, 저장된 진행률에서 후속 실행을 다시 시작할 수 있습니다.

일정에 인덱서가 배치되면 간격 또는 시작 시간을 지우거나 true로 설정할 disabled 때까지 일정에 유지됩니다. 예약된 인덱서가 예기치 않게 트리거를 중지하는 경우 복구 단계에 대한 예약 동작 FAQ를 참조하세요. 처리할 것이 없는 경우 인덱서가 일정에 따라 그대로 두는 것은 시스템 성능에 영향을 주지 않습니다. 변경된 콘텐츠를 확인하는 것은 비교적 빠른 작업입니다.

필수 구성 요소

  • 데이터 원본 및 인덱스로 구성된 유효한 인덱서입니다.

  • 데이터 원본의 변경 감지. Azure Storage 및 SharePoint에는 기본 제공된 변경 감지 기능이 있습니다. Azure SQL 및 Azure Cosmos DB 같은 다른 데이터 원본의 경우 변경 검색을 수동으로 사용하도록 설정해야 합니다.

실행 시간 제한으로 인한 중지 후 자동 연속

콘텐츠 처리 인덱서 실행이 실행당 실행 시간 할당량에 도달하고 처리 가능한 작업이 남아 있으면 Search는 연속 작업을 자동으로 큐에 대기합니다. 시스템에서 생성된 이 연속 작업은 구성한 폴링 일정과는 별개입니다.

예를 들어 인덱싱된 지식 원본은 24시간마다 변경 내용을 폴링할 수 있습니다. 생성된 인덱서가 초기 또는 증분 수집 중에 실행 시간 할당량에 도달하면 다음 일일 폴링을 기다리지 않고 적격 미완성 작업이 나중에 계속되도록 대기열에 추가됩니다. 해당 작업을 계속하기 위해서만 폴링 간격을 단축할 필요는 없습니다.

후속 작업은 콘텐츠 처리 큐의 끝으로 이동합니다. 이는 즉시 다시 시작되지 않으며 큐 요청은 실행을 지연할 수 있습니다. 다음 실행은 인덱서 재설정 대신 저장된 진행률에서 다시 시작됩니다. 마지막으로 저장된 검사점 이후의 작업을 다시 처리할 수 있습니다. 대규모 수집 작업에는 여러 실행 창이 필요할 수 있습니다.

이전 실행 결과 예상 사항
실행 시간 제한에 도달했고 계속 진행할 수 있는 작업이 남아 있습니다. 큐 가용성에 따라 후속 작업을 대기열에 추가합니다.
정상 완료. 완료되지 않은 작업에는 할당량 계속이 필요하지 않습니다. 향후 원본 변경 내용은 구성된 일정에 따라 검색됩니다.
취소, 지속적인 실패 또는 잘못된 구성. 복구를 위해 할당량 연장에 의존하지 마세요. 원인을 해결하고 적절한 실행 또는 예약 절차를 사용합니다.

연속 실행은 구성된 폴링 간격을 변경하거나 동일한 인덱서의 두 개의 동시 복사본을 허용하지 않습니다. 예약된 요청 및 주문형 요청은 정상적인 스케줄링 동작의 적용을 받습니다. 큐를 우회하기 위해 수동 실행을 반복적으로 제출하지 마세요.

자동 연속은 실행 제한을 제거하거나 완료 시간을 보장하지 않습니다. 반복된 실패는 예약 지연을 초래할 수 있습니다. 실행이 진행하지 않고 반복적으로 중지되는 경우 성공까지 연속 재시도를 무기한으로 가정하는 대신 원본, 문서 크기 및 스킬 처리를 조사합니다. 완료되지 않은 수집 문제 해결을 참조하세요.

실행 기록을 사용하여 할당량 중지 및 후속 진행률을 모니터링합니다. 여기에 설명된 실행별 중지는 S3 HD 및 서버리스 서비스의 서비스 전체 누적 런타임 할당량 과 다릅니다. 계속은 해당 할당량을 무시하지 않습니다.

일정 정의

일정은 인덱서 정의의 일부입니다. schedule 속성을 생략하면 인덱서에 되풀이 폴링 일정이 없으며 요청 시 시작합니다. 적격 자동 계속은 반복 폴링 구성과는 별개입니다. 속성에는 두 부분이 있습니다.

속성 설명
"interval" (필수) 두 번의 연속된 인덱서 실행 시작 사이의 시간 간격입니다. 허용되는 가장 작은 간격은 5분이고 가장 긴 간격은 1,440분(24시간)입니다. XSD "dayTimeDuration" 값 형식( ISO 8601 기간 값의 제한된 하위 집합)으로 지정합니다.

이 값의 패턴은 다음과 같습니다: P(nD)(T(nH)(nM)).

예: PT15M 15분마다, PT2H 2시간마다.
"startTime" (선택 사항) UTC(협정 세계시)로 시작 시간을 지정합니다. 이 값을 생략하면 현재 시간이 사용됩니다. 이 시간은 과거일 수 있으며, 이 경우 원래 시작 시간 이후 인덱서가 계속 실행된 것처럼 첫 번째 실행이 예약됩니다.

다음 예제는 1월 1일 자정에 시작하여 2시간마다 실행되는 일정입니다.

{
    "dataSourceName" : "hotels-ds",
    "targetIndexName" : "hotels-idx",
    "schedule" : { "interval" : "PT2H", "startTime" : "2024-01-01T00:00:00Z" }
}

일정 구성

인덱서 정의에서 일정을 지정합니다. 일정을 설정하려면 Azure 포털, REST API 또는 Azure SDK 사용합니다.

  1. Azure 포털에서 Foundry IQ 서비스로 이동합니다.
  2. 왼쪽 창에서 인덱서를 선택합니다.
  3. 인덱스를 엽니다.
  4. 설정을 선택합니다.
  5. 아래로 스크롤하여 일정으로 이동한 다음 시간별, 일별 또는 사용자 지정 을 선택하여 특정 날짜, 시간 또는 사용자 지정 간격을 설정합니다.

인덱스 맨 위에 있는 인덱서 정의(JSON) 탭으로 전환하여 일정 정의를 XSD 형식으로 봅니다.

일정 동작 FAQ

여러 인덱서 작업을 병렬로 실행할 수 있나요?

동시에 여러 인덱서를 실행할 수 있지만 각 인덱서는 단일 인스턴스입니다. 동일한 인덱서의 복사본 두 개를 동시에 실행할 수 없습니다.

텍스트 기반 인덱싱의 경우 스케줄러는 Foundry IQ 서비스에서 지원하는 만큼의 인덱서 작업을 시작할 수 있으며, 그 수는 search units 수에 따라 결정됩니다. 예를 들어 서비스에 3개의 복제본과 4개의 파티션이 있는 경우 요청 시 시작되든 일정에 따라 시작되든 12개의 인덱서 작업이 활성 실행 중일 수 있습니다.

기술 기반 인덱싱의 경우 인덱서는 특정 실행 환경에서 실행됩니다. 이러한 이유로 서비스 단위 수는 실행할 수 있는 기술 기반 인덱서 작업의 수에 영향을 주지 않습니다. 여러 기술 기반 인덱서는 병렬로 실행될 수 있지만 실행 환경 내의 콘텐츠 프로세서 가용성에 따라 달라집니다.

예약된 작업은 항상 지정된 시간에 시작하나요?

인덱서 프로세스는 큐에 대기할 수 있으며 처리 워크로드 및 기타 요인에 따라 게시된 시간에 정확히 시작되지 않을 수 있습니다. 예를 들어 다음 예약된 실행이 시작될 때 인덱서가 계속 실행되는 경우 보류 중인 실행은 다음 예약된 항목까지 연기되므로 현재 작업이 완료될 수 있습니다.

이 동작을 보다 구체적으로 만들려면 다음 예제를 고려하세요. 시간 간격과 2024년 1월 1일 오전 8:00:00 UTC의 시작 시간으로 인덱서 일정을 구성한다고 가정합니다. 인덱서 실행 시간이 1시간 이상 걸리면 다음과 같은 일이 발생할 수 있습니다.

  1. 첫 번째 인덱서 실행이 2024년 1월 1일 오전 8시(UTC)경에 시작됩니다. 이 실행에 20분(또는 1시간 미만의 기간)이 걸리는 것으로 가정합니다.

  2. 두 번째 실행은 2024년 1월 1일 오전 9:00 UTC에 시작됩니다. 이 실행은 70분(1시간 이상)이 걸리며 오전 10시 10분(UTC)까지 완료되지 않는다고 가정합니다.

  3. 세 번째 실행은 오전 10시(UTC)에 시작하도록 예약되어 있지만, 이전 실행이 계속해서 실행되고 있습니다. 이 경우 예약된 실행을 건너뜁니다. 인덱서의 다음 실행은 오전 11:00 UTC까지 시작되지 않습니다.

유지 관리 중이거나 일시적인 상태에서 복구 중인 경우와 같은 드문 상황에서는 시스템이 여러 인덱서 실행 작업을 대기열에 넣습니다. 이 조건이 발생하면 인덱서는 예약된 창 내에서 보류 중인 워크로드를 순차적으로 실행합니다. 예를 들어 인덱서가 매시간 실행되도록 예약되어 있고 여러 실행이 지연되었거나 수동으로 트리거된 경우, 큐에 쌓인 작업이 모두 처리될 때까지 해당 작업이 연이어 실행됩니다. 이러한 실행은 추가 실행이 아니라 이전에 예약되거나 요청된 실행을 나타냅니다. 대부분의 시나리오에서 이 동작은 드물지만, 인덱서는 결국 일관성과 데이터 새로 고침을 유지하기 위해 대기 중인 모든 작업을 처리하도록 설계되었습니다.

참고

시간이 중요한 엄격한 인덱서 실행 요구 사항이 있는 경우 인덱싱 파이프라인을 직접 제어할 수 있도록 푸시 API 모델을 사용하는 것이 좋습니다.

동일한 문서에서 인덱싱이 반복적으로 실패하면 어떻게 되나요?

인덱서를 특정 일정으로 설정했지만 매번 동일한 문서에서 반복적으로 실패하는 경우 인덱서는 다시 성공적으로 진행될 때까지 덜 빈번한 간격(다른 구현 요인에 따라 2시간 또는 24시간마다 최대 한 번까지)으로 실행되기 시작합니다. 기본 문제를 해결한 것으로 생각되면 인덱서를 수동으로 실행합니다. 인덱싱에 성공하면 인덱서가 일반 일정으로 돌아갑니다. 수동 실행이 성공한 후 인덱서가 일반 일정으로 돌아가지 않는 경우 다음 질문을 참조하세요.

예약된 인덱서가 트리거를 중지했습니다. 일정을 다시 설정하려면 어떻게 해야 하나요?

예약된 인덱서의 실행이 중지되면 해당 인덱서 실행을 사용하지 않도록 설정한 다음 다시 사용하도록 설정하여 일정을 다시 설정합니다. 이 복구가 필요하다는 신호: 일정이 구성되고 데이터 원본이 변경된 경우에도 실행 기록에 새 실행이 나타나지 않습니다.

일정을 일시 중단하도록 disabled 설정합니다true. false 다시 설정하거나 속성을 생략하면 현재 시간을 구성된 간격의 새 기준선으로 사용하여 일정을 다시 시작합니다.

  1. Azure 포털에서 Foundry IQ 서비스로 이동합니다.
  2. 인덱서를 선택합니다.
  3. 인덱서를 선택하여 엽니다.
  4. 설정을 선택합니다.
  5. 인덱서가 사용 안 함으로 설정됩니다.
  6. 저장을 선택합니다.
  7. 인덱서 다시 사용으로 설정합니다.
  8. 저장을 선택합니다.
  9. 실행 기록 탭을 선택하고 예약된 다음 간격 내에 새 실행이 표시되는지 확인합니다.

참고

인덱서 다시 사용하도록 설정하면 원래 startTime시간이 아닌 현재 시간을 기준으로 일정이 다시 설정됩니다. 예를 들어 간격이 2시간이고 오후 3시 15분에 다시 사용하도록 설정하는 경우 예약된 다음 실행은 오후 5시 15분 정도입니다.

다음 단계

일정에 따라 실행되는 인덱서의 경우 Foundry IQ 서비스에서 상태를 검색하여 작업을 모니터링하거나 리소스 로깅을 사용하도록 설정하여 자세한 정보를 가져올 수 있습니다.