Azure Content Understanding 기술을 사용하여 콘텐츠 청크 및 벡터화

메모

Foundry IQ (Azure AI 검색)는 관리형 검색을 위한 상위 수준의 지식 원본 및 지식 베이스 API와 함께 직접 인덱싱 및 쿼리 API를 제공합니다. Azure 포털, REST API 또는 Azure SDK 사용하여 이러한 기능을 구성하거나 Microsoft Foundry 포털의 기술 자료에 에이전트를 연결합니다.

Important

이러한 기능과 기능은 다른 Microsoft 서비스 및 타사 서비스에 대한 연결을 지원합니다. 이러한 서비스의 사용은 해당 약관의 적용을 받으며 Azure 규정 준수 경계 외부의 데이터 처리 또는 스토리지뿐만 아니라 Azure 규정 준수 경계로 데이터가 유입될 수 있습니다.

데이터가 조직의 규정 준수 및 지리적 경계와 관련된 의미를 벗어나는지 여부와 적절한 권한, 경계 및 승인이 프로비전되는지를 관리하는 것은 사용자의 책임입니다.

특정 사용 사례의 컨텍스트에서 빌드한 애플리케이션을 신중하게 검토하고 테스트하고 모든 적절한 결정 및 사용자 지정을 수행할 책임이 있습니다. 여기에는 메타프롬프트, 콘텐츠 필터 또는 기타 안전 시스템과 같은 책임 있는 AI 완화를 구현하고 애플리케이션이 적절한 품질, 안정성, 보안 및 신뢰성 표준을 충족하도록 보장하는 것이 포함됩니다. 자세한 내용은 Foundry IQ(Azure AI 검색) 투명도 참고를 참조하세요.

이 문서에서는 Azure Content Understanding skill을 사용하여 인덱싱 파이프라인을 빌드하여 다음을 수행합니다.

  • 문서에서 텍스트 및 이미지 추출
  • 단락 및 섹션 경계를 존중하는 의미 체계적으로 일관된 청크를 생성합니다.
  • 필요에 따라 차트, 다이어그램 및 기타 인라인 이미지에 대한 AI 설명 생성
  • 벡터 검색을 위해 각 청크를 임베딩하고 Foundry IQ 인덱스에 투영합니다.

Azure Content Understanding 기술은 문서당 하나 이상의 청크를 반환합니다. 각 청크에는 Markdown 형식의 콘텐츠, 위치 메타데이터(페이지 번호 및 경계 다각형) 및 추출된 이미지에 대한 선택적 참조가 포함됩니다. chunkingProperties.method를 semantic(으)로 설정하면 청크는 고정된 문자 범위 대신 단락 및 제목 경계를 따릅니다. modelName 및 modelDeployment 설정하면 기술은 Azure OpenAI 채팅 완성 배포를 호출하여 포함된 이미지에 대한 설명을 생성합니다. 그런 다음 스킬은 그 설명들을 청크 콘텐츠에 병합합니다.

시맨틱 청킹 및 이미지 설명은 이 연습 전체에서 사용되는 Search REST API 2026-10-01에서 일반적으로 사용할 수 있습니다. 이 가용성은 스킬에서 호출되는 Content Understanding API와는 별개입니다.

이 문서에서는 Blob Storage 샘플 건강 보험 PDF를 사용합니다. SharePoint 문서는 Foundry IQ에서 SharePoint 문서 추출 및 보강을 참조하세요. 이 연습의 선택적 이미지 스토리지 단계를 권한으로 보호된 콘텐츠에 적용하지 마세요. 자세한 내용은 SharePoint ACL 제한 사항을 참조하세요.

사전 요구 사항

  • 지원되는 모든 지역의 Foundry IQ 서비스입니다. Foundry IQ 서비스 자체는 이 시나리오에 대해 지역 제약이 없습니다.

  • 기술 세트에 연결된지원되는 지역의 Microsoft Foundry 리소스입니다.

  • (선택 사항) 동일한 Foundry 리소스에서 Content Understanding에서 지원하는 모델을 사용하는 Azure OpenAI 채팅 완료 배포. 시맨틱 청킹 및 이미지 추출에는 이 배포가 필요하지 않습니다.

  • Foundry 리소스에 지원되는 Azure OpenAI 임베딩 모델을 배포합니다. 이 예제에서는 1,536개의 차원을 사용합니다. 이 값을 지원하는 모델을 선택하거나 인덱스와 스킬 차원을 함께 변경합니다.

  • 인덱싱할 파일이 있는 Azure Blob Storage 컨테이너입니다. 이 문서에서는 인덱서 설정과 함께 allowSkillsetToReadFileData Blob 데이터 원본을 사용합니다(Content Understanding 기술에 파일 콘텐츠를 전달하는 데 사용됨).

  • 검색 개체를 만들고 실행하고 인덱스를 쿼리할 수 있는 권한입니다. 검색 역할 기반 액세스 및 검색 관리 ID를 사용합니다. 해당 ID에 임베딩 배포를 호스팅하는 Foundry 리소스에서 기술 세트 연결에 필요한 Foundry 리소스 역할과 Cognitive Services OpenAI 사용자 역할을 부여합니다.

각 HTTP 요청에 대해 https://<search-service>.search.windows.net를 {endpoint}로 바꾸고 <access-token>를 Foundry IQ 서비스용 토큰으로 바꿉니다. Foundry 리소스 및 모델 배포 자리 표시자를 사용자 고유의 값으로 바꾸십시오. <MODEL_NAME> 는 선택적 설명 모델입니다. <EMBEDDING_MODEL_NAME> 는 배포 이름이 아닌 임베딩 모델입니다.

임베딩 기술 및 쿼리 시간 벡터라이저에 동일한 임베딩 리소스 엔드포인트, 배포 및 모델을 사용합니다. 예제에서는 프로젝트 URL이 아닌 Foundry 리소스 엔드포인트(https://<resource>.services.ai.azure.com)를 사용합니다.

개요

이 문서에서는 일대다 인덱싱 파이프라인을 구축합니다. 각 원본 문서는 여러 검색 문서를 생성합니다(청크당 하나).

  1. 인덱서는 Azure Blob Storage의 각 파일을 읽고 /document/file_data를 통해 이진 콘텐츠를 기술 집합에 전달합니다.

  2. Azure Content Understanding 기술은 의미 체계 청크를 사용하여 text_sections를 생성합니다. modelName와 modelDeployment를 모두 설정하면, 스킬은 삽입된 이미지 설명도 생성하고 이를 청크의 Markdown에 인라인합니다.

  3. Azure OpenAI 포함 기술 청크당 한 번씩 실행되며 청크 콘텐츠에 대한 벡터를 생성합니다.

  4. 인덱스 프로젝션은 청크당 하나의 검색 문서를 대상 인덱스에 쓰고, 콘텐츠, 페이지 메타데이터, 이미지 참조 및 벡터를 필드에 매핑합니다.

  5. (선택 사항) 지식 저장소는 클라이언트 앱이 URL을 통해 추출된 이미지를 가져올 수 있도록 normalized_images를 Azure Blob Storage에 프로젝션합니다.

데이터 파일 준비

Azure Content Understanding 기술은 각 문서의 이진 콘텐츠를 처리하므로 소스 파일은 기술이 지원하는 형식이어야 합니다. 현재 목록은 Content Understanding 서비스 제한을 참조하세요. 지원되는 일반적인 형식에는 PDF, DOCX, XLSX, PPTX 및 많은 이미지 형식이 포함됩니다.

파일을 Blob Storage 컨테이너에 업로드합니다. Azure 포털, REST API 또는 Azure SDK 사용하여 데이터 원본을 만들 수 있습니다.

다음 최소 요청은 이 연습 전체에서 사용되는 데이터 원본을 만듭니다.

POST {endpoint}/datasources?api-version=2026-10-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "name": "my_blob_datasource",
  "type": "azureblob",
  "credentials": {
    "connectionString": "<your-blob-connection-string>"
  },
  "container": {
    "name": "my-container"
  }
}

일대다 인덱싱을 위한 인덱스 만들기

각 검색 문서는 Content Understanding 기술에서 생성된 하나의 청크에 해당합니다. 인덱스 요구 사항:

  • 키 필드(chunk_id)입니다.
  • 청크가 어떤 소스 문서에서 추출되었는지 식별하는 부모 필드입니다(parent_id).
  • 청크 콘텐츠, 페이지 메타데이터 및 이미지 참조를 저장하는 필드입니다.
  • 청크 임베딩용 벡터 필드입니다.

다음 인덱스 정의는 다음 섹션에서 만든 기술 세트와 일치합니다.

PUT {endpoint}/indexes/my_content_understanding_index?api-version=2026-10-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "name": "my_content_understanding_index",
  "fields": [
    {
      "name": "chunk_id",
      "type": "Edm.String",
      "key": true,
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false,
      "analyzer": "keyword"
    },
    {
      "name": "parent_id",
      "type": "Edm.String",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false
    },
    {
      "name": "title",
      "type": "Edm.String",
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false
    },
    {
      "name": "chunk",
      "type": "Edm.String",
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false
    },
    {
      "name": "page_number_from",
      "type": "Edm.Int32",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false
    },
    {
      "name": "page_number_to",
      "type": "Edm.Int32",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false
    },
    {
      "name": "image_path",
      "type": "Edm.String",
      "searchable": false,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false
    },
    {
      "name": "text_vector",
      "type": "Collection(Edm.Single)",
      "searchable": true,
      "retrievable": false,
      "stored": false,
      "dimensions": 1536,
      "vectorSearchProfile": "profile"
    }
  ],
  "semantic": {
    "defaultConfiguration": "semantic-config",
    "configurations": [
      {
        "name": "semantic-config",
        "prioritizedFields": {
          "titleField": {"fieldName": "title"},
          "prioritizedContentFields": [{"fieldName": "chunk"}]
        }
      }
    ]
  },
  "vectorSearch": {
    "profiles": [
      {
        "name": "profile",
        "algorithm": "algorithm",
        "vectorizer": "query-vectorizer"
      }
    ],
    "algorithms": [
      {
        "name": "algorithm",
        "kind": "hnsw"
      }
    ],
    "vectorizers": [
      {
        "name": "query-vectorizer",
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://<embedding-resource>.services.ai.azure.com",
          "deploymentId": "<embedding-deployment>",
          "modelName": "<EMBEDDING_MODEL_NAME>"
        }
      }
    ]
  }
}

의미론적 청킹 및 벡터화를 위한 스킬셋 정의

대상 인덱스를 사용하여 청크, 벡터 및 이를 공급하는 프로젝션 매핑을 생성하는 기술 세트를 정의합니다.

기술 세트에는 다음 두 가지 기술이 있습니다.

  • Azure Content Understanding 스킬은 각 문서를 청크로 나눕니다. semantic를 chunkingProperties.method로 설정하면 단락 및 제목 경계를 준수합니다. 두 모델 속성을 독립적으로 설정하면 벡터화 전에 이미지 설명을 활성화할 수 있습니다. 지원되는 값은 Skill parameters를 참조하세요.

  • Azure OpenAI 포함 기술 각 청크의 콘텐츠에 대한 벡터를 생성합니다.

기술 세트는 indexProjections를 사용하여 각 청크를 별도의 검색 문서에 매핑합니다. 자세한 내용은 인덱스 프로젝션 정의를 참조하세요.

요청은 Foundry 및 임베딩 액세스를 위해 Foundry IQ 서비스의 시스템 할당 관리 ID를 사용합니다. Blob 연결 문자열 예제는 별개입니다. 키 없는 원본 연결의 경우 데이터 원본에 관리 ID를 사용합니다.

다음 예제에는 이미지 설명이 포함되어 있습니다. 선택적 설명 배포를 건너뛰는 경우 기술 세트를 제출하기 전에 청구 및 이미지 설명 컨트롤 을 사용하여 해당 구성을 제거합니다. 파이프라인을 실행하기 전에 해당 요금을 검토합니다.

POST {endpoint}/skillsets?api-version=2026-10-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "name": "my_content_understanding_skillset",
  "description": "Semantic chunking, image descriptions, and vectorization with the Azure Content Understanding skill",
  "skills": [
    {
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "name": "my_content_understanding_skill",
      "context": "/document",
      "modelName": "<MODEL_NAME>",
      "modelDeployment": "<chat-deployment>",
      "chunkingProperties": {
        "method": "semantic",
        "unit": "tokens",
        "maximumLength": 500
      },
      "extractionOptions": ["images", "locationMetadata"],
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        {
          "name": "text_sections",
          "targetName": "text_sections"
        },
        {
          "name": "normalized_images",
          "targetName": "normalized_images"
        }
      ]
    },
    {
      "@odata.type": "#Microsoft.Skills.Text.AzureOpenAIEmbeddingSkill",
      "name": "my_azure_openai_embedding_skill",
      "context": "/document/text_sections/*",
      "inputs": [
        {
          "name": "text",
          "source": "/document/text_sections/*/content"
        }
      ],
      "outputs": [
        {
          "name": "embedding",
          "targetName": "text_vector"
        }
      ],
      "resourceUri": "https://<embedding-resource>.services.ai.azure.com",
      "deploymentId": "<embedding-deployment>",
      "modelName": "<EMBEDDING_MODEL_NAME>",
      "dimensions": 1536
    }
  ],
  "cognitiveServices": {
    "@odata.type": "#Microsoft.Azure.Search.AIServicesByIdentity",
    "subdomainUrl": "https://<foundry-resource>.services.ai.azure.com",
    "identity": null
  },
  "indexProjections": {
    "selectors": [
      {
        "targetIndexName": "my_content_understanding_index",
        "parentKeyFieldName": "parent_id",
        "sourceContext": "/document/text_sections/*",
        "mappings": [
          {
            "name": "chunk",
            "source": "/document/text_sections/*/content"
          },
          {
            "name": "text_vector",
            "source": "/document/text_sections/*/text_vector"
          },
          {
            "name": "page_number_from",
            "source": "/document/text_sections/*/locationMetadata/pageNumberFrom"
          },
          {
            "name": "page_number_to",
            "source": "/document/text_sections/*/locationMetadata/pageNumberTo"
          },
          {
            "name": "image_path",
            "source": "/document/text_sections/*/imagePath"
          },
          {
            "name": "title",
            "source": "/document/metadata_storage_name"
          }
        ]
      }
    ],
    "parameters": {
      "projectionMode": "skipIndexingParentDocuments"
    }
  }
}

Content Understanding 기술에 대한 전체 매개 변수 참조, 지원되는 값 및 유효성 검사 규칙은 Azure Content Understanding 기술 참조하세요.

청크 및 설명 옵션 선택

청크, 이미지 추출 및 이미지 설명은 독립적인 선택 사항입니다. 설명 구성의 경우 표준 설명 컨트롤을 사용합니다.

고정 크기 청크의 경우 Content Understanding 기술의 chunkingProperties를 {"method": "fixedSize", "unit": "characters", "maximumLength": 1325, "overlapLength": 0}로 바꿉니다. 허용되는 범위 및 겹침 규칙은 다음을 참조하세요 chunkingProperties.

인덱서 구성 및 실행

데이터 원본에서 읽고 기술 집합을 호출하며 청크를 인덱스에 투영하는 인덱서를 만들고 실행합니다. allowSkillsetToReadFileData을(를) true로 설정하여 Content Understanding 기술이 파일 콘텐츠를 수신하도록 하고, parsingMode을(를) default로 설정합니다.

이 시나리오에서는 outputFieldMappings이 필요하지 않습니다. 스킬셋의 indexProjections 블록은 이미 각 청크를 대상 인덱스 필드에 매핑하고 있습니다.

POST {endpoint}/indexers?api-version=2026-10-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "name": "my_content_understanding_indexer",
  "dataSourceName": "my_blob_datasource",
  "targetIndexName": "my_content_understanding_index",
  "skillsetName": "my_content_understanding_skillset",
  "parameters": {
    "batchSize": 1,
    "configuration": {
      "dataToExtract": "contentAndMetadata",
      "parsingMode": "default",
      "allowSkillsetToReadFileData": true
    }
  },
  "fieldMappings": [],
  "outputFieldMappings": []
}

인덱서가 실행되면 Content Understanding 기술은 파일을 청크하고 필요에 따라 설명을 생성합니다. 인덱스 프로젝션은 청크당 하나의 검색 문서를 생성합니다. 기존 인덱서를 업데이트하고 이전에 인덱싱된 파일에 이 파이프라인을 적용해야 하는 경우 재설정하고 실행합니다. 다시 설정 없이 실행은 새 파일 또는 변경된 파일만 처리합니다.

인덱서 상태 확인

쿼리하기 전에 인덱서 실행이 완료된 것을 확인합니다.

GET {endpoint}/indexers/my_content_understanding_indexer/status?api-version=2026-10-01
Authorization: Bearer <access-token>

lastResult.status, itemsProcessed, itemsFailed, errors 및 warnings를 검사하세요. 처리된 수가 0이 아닌 경우에도 대표 청크를 확인하고 누락된 문서를 조사합니다. 자세한 내용은 인덱서 상태 모니터링을 참조하세요.

결과 확인

인덱스를 쿼리하여 청크에 예상 콘텐츠가 포함되고 해당 벡터 검색이 예상대로 작동하는지 확인합니다. 검색 탐색기 또는 HTTP 요청을 보내는 도구를 사용합니다.

다음 요청은 하이브리드 쿼리를 실행합니다. chunk에서의 키워드 검색 및 text_vector에 대한 벡터 쿼리입니다. 쿼리 시간 벡터라이저는 구성된 임베딩 배포를 사용하여 쿼리 텍스트를 포함합니다.

POST {endpoint}/indexes/my_content_understanding_index/docs/search?api-version=2026-10-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "search": "copay for in-network providers",
  "searchFields": "chunk",
  "count": true,
  "searchMode": "all",
  "vectorQueries": [
    {
      "kind": "text",
      "text": "copay for in-network providers",
      "fields": "text_vector"
    }
  ],
  "select": "chunk, title, page_number_from, page_number_to, image_path"
}

응답에는 선택한 필드가 있는 value개의 항목이 포함됩니다. 청크 콘텐츠와 페이지 연관 관계를 검사합니다. 벡터 검색을 독립적으로 확인하려면 search, searchFields, searchMode 없이 요청을 반복하되 vectorQueries는 유지합니다. 하이브리드 결과만으로는 벡터 검색이 성공했는지 입증할 수 없습니다.

다음 응답 구조는 라이브 실행에서 캡처되지 않은 예제입니다. 청크 경계, 텍스트, 개수 및 점수는 다음과 같습니다.

{
  "@odata.count": 2,
  "value": [
    {
      "@search.score": 0.0317,
      "chunk": "## Cost sharing\n\nFor in-network providers, the copay is $20 per visit...\n\n![Chart: Copay comparison across plans](figures/3)",
      "title": "Northwind_Standard_Benefits_Details.pdf",
      "page_number_from": 4,
      "page_number_to": 4,
      "image_path": "figures/3"
    },
    {
      "@search.score": 0.0289,
      "chunk": "### Out-of-network providers\n\nWhen you visit a provider that isn't in the Northwind network, the copay is $40 per visit...",
      "title": "Northwind_Standard_Benefits_Details.pdf",
      "page_number_from": 5,
      "page_number_to": 6,
      "image_path": null
    }
  ]
}

응답에는 다음이 포함됩니다.

  • chunk: 각 청크의 Markdown 콘텐츠입니다. Content Understanding 기술에서 두 모델 속성을 모두 구성하면 생성된 이미지 설명이 해당 그림에 대해 인라인으로 표시됩니다.
  • page_number_from 및 page_number_to: 청크를 생성한 페이지 범위입니다.
  • image_path: 청크를 사용하여 추출된 이미지의 경로이거나 청크가 여러 이미지에 걸쳐 있을 때 세미콜론으로 구분된 경로 목록입니다. 정확한 모양은 지식 저장소 파일 프로젝션이 구성되었는지 여부에 따라 달라집니다. 파일 프로젝션이 없으면 경로는 예제(figures/3)에 표시된 짧은 형식입니다. 파일 프로젝션을 사용하면 경로는 지식 저장소에 있는 이미지의 상대 경로입니다. 클라이언트 앱에서 이러한 이미지를 사용할 수 있도록 하려면 검색을 위해 (선택 사항) Project 이미지를 참조하세요.

(선택 사항) 검색용 프로젝트 이미지

인덱스에 저장된 image_path 값은 직접 검색할 수 있는 URL이 아닙니다. 이미지를 검색하려면 지식 저장소를 사용하여 normalized_images를 Azure Blob Storage에 프로젝션합니다. 그러면 클라이언트 앱이 저장된 이미지 경로에서 Blob URL을 생성할 수 있습니다.

이 단계는 선택 사항입니다. 클라이언트 앱에서 추출된 이미지를 표시하거나 다운로드해야 하는 경우에만 추가합니다.

다음 구성 조각에서 knowledgeStore 속성을 기술 세트 페이로드에 추가합니다. PUT {endpoint}/skillsets/my_content_understanding_skillset?api-version=2026-10-01으로 기존 기술 세트를 업데이트합니다. 이 선택적 Blob 시나리오는 권한으로 보호되는 SharePoint 콘텐츠에 대해 지원되지 않습니다.

{
  "knowledgeStore": {
    "storageConnectionString": "<your-azure-storage-connection-string>",
    "projections": [
      {
        "files": [
          {
            "storageContainer": "extracted-images",
            "source": "/document/normalized_images/*"
          }
        ],
        "tables": [],
        "objects": []
      }
    ]
  }
}

이미 인덱싱한 문서에 대한 새 파일 프로젝션을 채우려면 인덱서를 재설정하고 실행합니다. 이렇게 하면 업데이트된 스킬셋을 사용하여 원본 파일을 다시 처리합니다.

인덱서가 실행된 후 extracted-images 컨테이너의 각 blob은 하나의 normalized_images 요소에 대응합니다. Blob URL은 다음과 같은 형식입니다: https://<storage-account>.blob.core.windows.net/<container>/<imagePath> 청크의 image_path에 여러 세미콜론으로 구분된 경로가 포함된 경우 각 개별 저장된 이미지 경로를 사용합니다. 또한 앱에는 Blob Storage에 대한 권한 있는 액세스가 필요합니다. 파일 프로젝션은 이미지를 공개하거나 기술 자료 이미지 제공을 활성화하지 않습니다.

추가 프로젝션 유형(tables 및 objects)과 인증 옵션을 포함한 전체 스키마는 Foundry IQ의 지식 저장소 "프로젝션"을 참조하세요.

생성된 이미지 설명 생성 제어

직접 및 생성된 파이프라인 설정(옵트아웃 유효성 검사 및 자산 저장소 제약 조건 포함)에 대해서는 청구 및 이미지 설명 컨트롤을 참조하세요.

자원을 정리하세요

수집이 더 이상 필요하지 않은 경우 인덱서 및 해당 일정을 중지하거나 삭제합니다. 더 이상 필요하지 않은 경우 데이터 원본, 기술 세트 및 인덱스를 삭제합니다. 검색 용량, Blob 파일 및 추출된 이미지, Foundry 리소스 및 모델 배포에는 별도의 수명 주기가 있습니다. 검색 개체를 삭제해도 해당 외부 리소스 또는 이미 발생한 역 요금이 삭제되지는 않습니다.

생성된 지식 원본의 경우 문서화된 삭제 절차를 사용하고 생성된 개체를 검토합니다. 다른 파이프라인에서 사용하는 공유 리소스는 삭제하지 마세요.

Troubleshooting

인덱서가 실패하거나 예기치 않은 결과를 반환하는 경우 다음과 같은 일반적인 원인을 확인합니다.

스킬셋 유효성 검사에 400 오류가 발생함

매개 변수 조합이 400 Skill validation failed 충돌하면 기술이 오류를 반환합니다. 일반적인 원인:

  • modelName만 설정되고 modelDeployment는 설정되지 않았거나, 그 반대의 경우입니다. 둘 다 함께 설정해야 합니다.
  • 0를 overlapLength로 설정하고 semantic를 method보다 큰 값으로 설정합니다. overlapLength을(를) 0로 설정하거나 생략합니다.
  • method와 unit는 지원되는 조합이 아닙니다. fixedSize와 함께 characters 또는 semantic와 함께 tokens를 사용합니다.

Foundry 리소스에 대한 권한 부여 실패

Foundry 리소스를 호출할 때 기술이 401 또는 403을 반환하는 경우 다음을 확인합니다.

text_sections이 비어 있습니다

인덱싱된 문서에 청크가 없는 경우 다음을 확인하세요:

이미지 설명이 없습니다.

청크에 인라인 이미지 설명이 포함되지 않은 경우 설명 구성, 연결된 Foundry 리소스의 배포 및 사용 가능한 TPM 또는 RPM 할당량을 확인합니다.

Content Understanding 분석 문제 해결

기본 문서 분석 폴링 기간은 8분입니다. 이 창이 만료되면 프로세스는 기술 시간 제한 오류를 반환하고 해당 문서에 대한 Content Understanding 출력을 생성하지 않습니다. 이 만료가 전체 인덱서 실행이 반드시 실패하는 것은 아닙니다.

실행 세부 정보를 사용하여 원인을 구분합니다.

증상 또는 증거 수표
분석 폴링 후 Skill 시간 제한 대표적인 문서 복잡성, 선택적 작업, 리소스 위치 및 정식 대규모 문서 지침 일괄 처리 크기는 이 기간에 영향을 주지 않습니다.
분석기 생성이 준비되지 않음 8분 문서 분석 창이 아닌 5분 준비-폴링 시간 제한이 있는 별도의 작업입니다.
터미널 Content Understanding 오류 또는 잘못된 형식의 출력 보고된 서비스 오류 및 지원되는 파일/입력 형식 누락된 청크를 폴링 만료로 진단하지 마세요.
HTTP 시간 제한, 429 또는 서비스를 사용할 수 없음 요청 및 네트워크 오류, 스로틀링, 그리고 구성된 모델 및 서비스 용량. 다시 시도 지연으로 폴링 시간이 소모될 수 있습니다.
401 또는 403 ID, 역할 할당, 리소스 엔드포인트 및 네트워크 액세스.
파일 및 페이지 할당량 또는 인덱서 런타임 고갈 Content Understanding 서비스 제한 및 검색 인덱서 제한을 별도로.

인덱서 이름, 실행 시간, 영향을 받는 원본 식별자, 스킬 이름, 오류 세부 정보, 지원용으로 사용할 수 있는 요청 및 상관 관계 ID를 기록합니다. 액세스 토큰, 키 또는 보호된 문서 콘텐츠를 포함하지 마세요. 인덱서 문제 해결 및 일반적인 오류 및 경고를 참조하세요.

다시 실행하거나 재설정하기 전에 추출, 설명 및 임베딩을 반복하는 비용을 고려합니다. 캐시된 분석, 다시 시작된 폴링, 이전 Content Understanding 작업의 취소 또는 중복 처리 요금이 발생하지 않는다고 가정하지 마세요.