Indexování dat ze souborů a zkratek OneLake

Indexer souborů OneLake importuje obsah a metadata z lakehouse vMicrosoft OneLake a zpřístupňuje obsah pro vyhledávání v Azure AI Vyhledávač.

Ke konfiguraci a spuštění indexeru můžete použít:

• Rozhraní REST API zdroje dat s rozhraním REST API indexeru
• Balíček Azure SDK, který tuto funkci poskytuje
• Průvodce importem dat na portálu Azure.

Tento článek používá rozhraní REST API k ilustraci jednotlivých kroků.

Požadavky

• Pracovní prostor Fabric. Podle tohoto návodu vytvořte pracovní prostor Fabric.

• Jezero v pracovním prostoru Fabric. Postupujte podle tohoto kurzu a vytvořte jezero.

• Textová data. Pokud máte binární data, můžete k extrakci textu nebo generování popisů obrázků použít analýzu obohacení AI. Obsah souboru nemůže překročit limity indexeru pro vaši úroveň vyhledávací služby.

  Zpracování zdrojových souborů a rozšiřování AI má samostatné limity. Podřízená dovednost nebo externí služba může přijímat méně dat než extrakce indexeru, proto si projděte referenční článek pro každou dovednost v sadě dovedností.

• Nestrukturovaný obsah v umístění Soubory vašeho jezera. Data můžete přidat pomocí:

  • Přímé nahrání do jezera
  • Použití datových kanálů z Microsoft Fabric
  • Přidejte zkratky z externích zdrojů dat, jako je Amazon S3 nebo Google Cloud Storage.

• Služba Azure AI Vyhledávač, cenová úroveň Basic nebo vyšší nakonfigurovaná pro spravovanou identitu systému nebo spravovanou identitu přiřazenou uživatelem. Služba Azure AI Vyhledávač se musí nacházet ve stejném tenantovi jako pracovní prostor Microsoft Fabric.

• Přiřazení role Správce nebo Přispěvatele v pracovním prostoru Microsoft Fabric, kde se nachází lakehouse. Kroky jsou popsané v části Udělení oprávnění v tomto článku.

• Povolte přístup k datům OneLake z aplikací mimo prostředí Fabric.

• Klient REST, který formuluje volání REST podobně jako volání uvedená v tomto článku.

Omezení

• Typy souborů Parquet (včetně delta parquet) se v současné době nepodporují.

• Odstranění souboru není podporováno pro zástupce úložiště Amazon S3 a Google Cloud Storage.

• Tento indexer nepodporuje obsah tabulkového umístění pracovního prostoru OneLake.

• Tento indexer nepodporuje dotazy SQL. Parametr query v konfiguraci zdroje dat pouze určuje volitelnou složku nebo zástupce, který se má indexovat.

• Ve OneLake se nepodporuje ingestování souborů z pracovního prostoru Můj pracovní prostor , protože se jedná o osobní úložiště pro jednotlivé uživatele.

• Indexování souborů z položek Fabric s popisky citlivosti například lakehouses se nepodporuje. Pokud se ale popisky citlivosti použijí přímo na jednotlivé dokumenty, podporuje se příjem chráněného obsahu a přidružených popisků. V těchto případech může Azure AI Vyhledávač prostřednictvím integrace s Purview (Preview) extrahovat a zohlednit popisky citlivosti i obsah označených dokumentů.

• Oprávnění na základě role pracovního prostoru v Microsoft OneLake může ovlivnit přístup indexeru k souborům. Ujistěte se, že má instanční objekt Azure AI Vyhledávač (spravovaná identita) dostatečná oprávnění k souborům, ke kterým chcete přistupovat v cílovém pracovním prostoru Microsoft Fabric.

Podporované úlohy

Tento indexer můžete použít pro následující úlohy:

• Indexování dat a přírůstkové indexování: Indexer může indexovat soubory a přidružená metadata z datových cest v rámci jezera. Zjišťuje nové a aktualizované soubory a metadata prostřednictvím integrované detekce změn. Aktualizaci dat můžete nakonfigurovat podle plánu nebo na vyžádání.
• Detekce odstranění: Indexer dokáže detekovat odstranění s pomocí vlastních metadat pro většinu souborů a zástupců. To vyžaduje přidání metadat do souborů, které naznačují, že byly "softwarově odstraněny", což umožňuje jejich odebrání z indexu vyhledávání. V současné době není možné detekovat odstranění v souborech zástupců Google Cloud Storage nebo Amazon S3, protože pro tyto zdroje dat nejsou podporovaná vlastní metadata.
• Rozšíření umělé inteligence prostřednictvím sad dovedností:Sady dovedností plně podporuje indexer souborů OneLake. To zahrnuje klíčové funkce, jako integrovaná vektorizace, která přidává datové bloky a kroky vkládání.
• Režimy analýzy: Indexer podporuje režimy analýzy JSON, pokud chcete parsovat pole JSON nebo řádky do jednotlivých vyhledávacích dokumentů. Podporuje také režim analýzy Markdownu.
• Kompatibilita s dalšími funkcemi: OneLake Indexer je navržený tak, aby bezproblémově fungoval s dalšími funkcemi indexeru, jako jsou ladicí relace, mezipaměť indexeru pro přírůstkové rozšiřování (Preview) a úložiště znalostí.

Podporované formáty dokumentů

Indexer souborů OneLake může extrahovat text z následujících formátů dokumentu:

• CSV (viz indexování objektů blob CSV)
• EML
• EPUB
• GZ
• jazyk HTML
• JSON (viz indexování objektů blob JSON)
• KML (XML pro geografické reprezentace)
• Markdown
• formáty systém Microsoft Office: DOCX/DOC/DOCM, XLSX/XLS/XLSM, PPTX/PPTM, MSG (Outlook e-maily), XML (2003 i 2006 WORD XML)
• Formáty otevřených dokumentů: ODT, ODS, ODP
• soubor PDF
• Soubory ve formátu prostého textu (viz také indexování prostého textu)
• RTF
• jazyk XML
• ZIP

Podporované klávesové zkratky

Indexer souborů OneLake podporuje následující klávesové zkratky OneLake:

• Zástupce ADLS Gen2

• Zástupce OneLake (zástupce jiné instance systému OneLake)

• Zástupce Amazon S3

• Zástupce Google Cloud Storage

Příprava dat pro indexování

Než nastavíte indexování, zkontrolujte zdrojová data, abyste zjistili, zda je potřeba provést nějaké změny ve svých datech v lakehouse. Indexer může indexovat obsah z jednoho kontejneru (lakehouse) najednou. Ve výchozím nastavení indexer zpracovává všechny soubory v lakehouse. Pokud chcete soubory zpracovávat selektivněji, zvažte následující možnosti:

• Umístěte soubory do virtuální složky. Definice zdroje dat indexeru obsahuje parametr dotazu, který může být buď podsložkou lakehouse, nebo odkazem. Pokud je tato hodnota zadaná, indexují se pouze soubory v podsložce nebo zástupce v rámci lakehouse.

• Zahrnout nebo vyloučit soubory podle typu souboru. Seznam podporovaných formátů dokumentů vám může pomoct určit, které soubory se mají vyloučit. Můžete například chtít vyloučit obrázky nebo zvukové soubory, které neposkytují prohledávatelný text. Tato funkce se řídí nastavením konfigurace v indexeru.

• Zahrnout nebo vyloučit libovolné soubory. Pokud chcete z jakéhokoli důvodu přeskočit konkrétní soubor, můžete do souborů ve vašem Lakehouse přidat vlastnosti metadat a jejich hodnoty. Když indexer narazí na tuto vlastnost, přeskočí soubor nebo jeho obsah při spuštění indexování.

Zahrnutí a vyloučení souborů jsou popsány v kroku konfigurace indexeru . Pokud kritéria nenastavíte, indexer hlásí neoprávněný soubor jako chybu a přesune se dál. Pokud dojde k dostatečným chybám, zpracování se může zastavit. V nastavení konfigurace indexeru můžete zadat odolnost proti chybám.

Indexer obvykle vytvoří jeden prohledávací dokument na soubor, kde se textový obsah a metadata zachytí jako prohledávatelná pole v indexu. Pokud jsou soubory kompletní, můžete je potenciálně analyzovat do více vyhledávacích dokumentů. Můžete například analyzovat řádky v souboru CSV a vytvořit jeden hledaný dokument na řádek. Pokud potřebujete vytvořit blok jednoho dokumentu do menších pasáží pro vektorizaci dat, zvažte použití integrované vektorizace.

Indexování metadat souboru

Metadata souborů je také možné indexovat a to je užitečné, pokud si myslíte, že některé ze standardních nebo vlastních vlastností metadat jsou užitečné ve filtrech a dotazech.

Vlastnosti metadat zadaných uživatelem se extrahují doslovně. Chcete-li získat hodnoty, musíte definovat pole v indexu vyhledávání typu Edm.String, se stejným názvem jako klíč metadat objektu blob. Pokud má například objekt blob klíč Priority metadat s hodnotou High, měli byste definovat pole pojmenované Priority v indexu vyhledávání a naplní se hodnotou High.

Standardní vlastnosti metadat souborů je možné extrahovat do podobně pojmenovaných a typových polí, jak je uvedeno níže. Indexer souborů OneLake automaticky vytvoří mapování interních polí pro tyto vlastnosti metadat, převede původní spojovníkové jméno ("metadata-storage-name") na název s podtržítky ("metadata_storage_name").

Stále musíte do definice indexu přidat podtržítka, ale mapování polí indexeru můžete vynechat, protože indexer přidružení automaticky provede.

• metadata_storage_name (Edm.String) – název souboru. Pokud máte například soubor /mydatalake/my-folder/podsložka/resume.pdf, hodnota tohoto pole je resume.pdf.

• metadata_storage_path (Edm.String) – úplný identifikátor URI objektu blob, včetně účtu úložiště. Příklad: https://myaccount.blob.core.windows.net/my-container/my-folder/subfolder/resume.pdf

• metadata_storage_content_type (Edm.String) – typ obsahu určený kódem, který jste použili k nahrání objektu blob. Například application/octet-stream.

• metadata_storage_last_modified (Edm.DateTimeOffset) – čas poslední úpravy objektu blob. Azure AI Vyhledávač toto časové razítko používá k identifikaci změněných objektů blob, aby se zabránilo přeindexování všeho po počátečním indexování.

• metadata_storage_size (Edm.Int64) – velikost objektu blob v bajtech.

• metadata_storage_content_md5 (Edm.String) – hodnota hash MD5 obsahu objektu blob, pokud je k dispozici.

Nakonec můžou být všechny vlastnosti metadat specifické pro formát dokumentu souborů, které indexujete, reprezentovány také ve schématu indexu. Další informace o metadatech specifických pro obsah naleznete v tématu Vlastnosti metadat obsahu.

Je důležité zdůraznit, že nemusíte definovat pole pro všechny výše uvedené vlastnosti v indexu vyhledávání – stačí zachytávat vlastnosti, které potřebujete pro vaši aplikaci.

Udělení oprávnění

Indexer OneLake používá pro připojení k OneLake ověřování tokenů a přístup založený na rolích. Oprávnění se přiřazují ve OneLake. Neexistují žádné požadavky na oprávnění pro fyzická úložiště dat, která podporují zástupce. Pokud například indexujete z AWS, nemusíte v AWS udělovat oprávnění vyhledávací služby.

Minimální přiřazení role pro identitu vaší vyhledávací služby je Přispěvatel.

1. Nakonfigurujte systémovou nebo uživatelem spravovanou identitu pro vaši službu Azure AI Vyhledávač.

   Následující snímek obrazovky ukazuje systémovou spravovanou identitu vyhledávací služby s názvem "onelake-demo".

   

   Tento snímek obrazovky ukazuje identitu spravovanou uživatelem pro stejnou vyhledávací službu.

   

2. Udělte oprávnění pro přístup k vyhledávací službě do pracovního prostoru Fabric. Vyhledávací služba vytvoří připojení jménem indexeru.

   Pokud používáte spravovanou identitu přiřazenou systémem, vyhledejte název služby Azure AI Vyhledávač. U spravované identity přiřazené uživatelem vyhledejte název prostředku identity.

   Následující snímek obrazovky ukazuje přiřazení role Přispěvatel pomocí spravované identity systému.

   

   Tento snímek obrazovky ukazuje přiřazení role Přispěvatel pomocí spravované identity přiřazené uživatelem:

   

Konfigurace sdíleného privátního propojení (vyžaduje se, pokud používáte privátní propojení na úrovni pracovního prostoru Fabric)

Pokud je váš pracovní prostor Fabric zabezpečený pomocí private link, Azure AI Vyhledávač nebude mít přístup k datům lakehouse přes veřejný internet a nebudete moci konfigurovat indexér ani požadované závislosti, jako je zdroj dat. Pokud chcete povolit přístup, musíte nakonfigurovat sdílené privátní propojení mezi Azure AI Vyhledávač a pracovním prostorem Fabric.

Definování zdroje dat

Zdroj dat je definován jako nezávislý prostředek, aby ho mohl používat více indexerů.

1. K nastavení definice použijte rozhraní REST API pro vytvoření nebo aktualizaci zdroje dat . Jedná se o nejvýznamnější kroky definice.

2. Nastaveno "type" na "onelake" (povinné).

3. Získejte GUID pracovního prostoru Microsoft Fabric a GUID datového skladu:

   • V Power BI otevřete jezero, ze které chcete importovat data. Všimněte si v prohlížeči URL adresy lakehouse. Měl by vypadat podobně jako v tomto příkladu: "https://msit.powerbi.com/groups/00000000-0000-0000-0000-000000000000/lakehouses/11111111-1111-1111-1111-111111111111". Adresa URL obsahuje identifikátor GUID pracovního prostoru i identifikátor GUID lakehouse. Pokud je pracovní prostor Fabric zabezpečený privátním propojením, adresa URL by začínala textem "https://{FabricWorkspaceGuid}.z{xy}.blob.fabric. microsoft.com".

   • Zkopírujte identifikátor GUID pracovního prostoru, který je uvedený napravo od "skupin" v adrese URL. V tomto příkladu by to bylo 00000000-0000-0000-0000-00000000000000. V souboru REST vytvořte proměnnou prostředí pro {FabricWorkspaceGuid} a nastavte ji na GUID pracovního prostoru. Pokud váš pracovní prostor používá privátní propojení, GUID pracovního prostoru se zobrazí v jiném umístění v adrese URL. Nezapomeňte odkazovat na správnou část adresy URL na základě nastavení.

   

   • Zkopírujte identifikátor GUID lakehouse, který je uvedený přímo za "lakehouses" v adrese URL. V tomto příkladu by to bylo 1111111-1111-1111-1111-1111-111111111. V souboru REST vytvořte proměnnou prostředí pro {LakehouseGuid} a nastavte ji na GUID lakehouse.

     

4. Nastavte "credentials" na identifikátor GUID pracovního prostoru Microsoft Fabric nahrazením {FabricWorkspaceGuid} hodnotou, kterou jste zkopírovali v předchozím kroku. Toto je OneLake pro přístup ke spravované identitě, kterou nastavíte později v této příručce.

   "credentials": {  
   "connectionString": "ResourceId={FabricWorkspaceGuid}"  
   }
   

Pro nastavení pomocí sdíleného privátního propojení nastavte spravované identity pomocí následujícího připojovacího řetězce, které se liší od nastavení pomocí internetu pro komunikaci. Všimněte si, že nejen adresa URL je odlišná, ale také WorkspaceEndpoint se používá místo ResourceId. Vezměte to v úvahu při konfiguraci identity spravované systémem nebo nastavení identit spravovaných uživatelem.

 "credentials": {  
 "connectionString": "WorkspaceEndpoint=https://{FabricWorkspaceGuid}.z{xy}.blob.fabric.microsoft.com"
 }

1. Nastavte "container.name" na identifikátor GUID lakehouse a nahraďte {LakehouseGuid} hodnotou, kterou jste zkopírovali v předchozím kroku. Použijte "query" k volitelnému určení podsložky nebo zástupce lakehousu.

      "container": {  
        "name": "{LakehouseGuid}",  
        "query": "{optionalLakehouseFolderOrShortcut}"  
      }
   

2. Nastavte metodu ověřování pomocí spravované identity přiřazené uživatelem nebo přejděte k dalšímu kroku pro identitu spravovanou systémem.

   {    
     "name": "{dataSourceName}",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId={FabricWorkspaceGuid}"  
     },  
     "container": {  
       "name": "{LakehouseGuid}",  
       "query": "{optionalLakehouseFolderOrShortcut}"  
     },  
     "identity": {  
       "@odata.type": "Microsoft.Azure.Search.DataUserAssignedIdentity",  
       "userAssignedIdentity": "{userAssignedManagedIdentity}"  
     }  
   }
   

   Hodnotu userAssignedIdentity lze najít přístupem k prostředku {userAssignedManagedIdentity} v oddíle Vlastnosti a je označována jako Id.

   

   Příklad:

   {    
     "name": "mydatasource",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId=a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1"  
     },  
     "container": {  
       "name": "11111111-1111-1111-1111-111111111111",  
       "query": "folder_name"  
     },  
     "identity": {  
       "@odata.type": "Microsoft.Azure.Search.DataUserAssignedIdentity",  
       "userAssignedIdentity": "/subscriptions/333333-3333-3333-3333-33333333/resourcegroups/myresourcegroup/providers/Microsoft.ManagedIdentity/userAssignedIdentities/demo-mi"  
     }  
   }
   

3. Volitelně můžete místo toho použít spravovanou identitu přiřazenou systémem. Identita se z definice odebere, pokud používáte spravovanou identitu přiřazenou systémem.

   {    
     "name": "{dataSourceName}",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId={FabricWorkspaceGuid}"  
     },  
     "container": {  
       "name": "{LakehouseGuid}",  
       "query": "{optionalLakehouseFolderOrShortcut}"  
     }  
   }
   

   Příklad:

   {    
     "name": "mydatasource",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId=a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1"  
     },  
     "container": {  
       "name": "11111111-1111-1111-1111-111111111111",  
       "query": "folder_name"  
     }
   } 
   

Detekce odstranění prostřednictvím vlastních metadat

Definice zdroje dat indexeru OneLake může obsahovat zásadu měkkého odstranění, pokud chcete, aby indexer odstranil vyhledávací dokument, když je zdrojový dokument označen příznakem pro odstranění.

Pokud chcete povolit automatické odstraňování souborů, použijte vlastní metadata k označení, zda má být vyhledávací dokument odebrán z indexu.

Pracovní postup vyžaduje tři samostatné akce:

• "Měkké odstranění souboru v OneLake"
• Indexer odstraní hledaný dokument v indexu.
• "Pevné odstranění" souboru ve OneLake

"Měkké odstranění" říká indexátoru, co má udělat (smazat vyhledávací dokument). Pokud nejprve odstraníte fyzický soubor v OneLake, indexer nemá co číst a odpovídající vyhledávací dokument v indexu je osiřelý.

V aplikaci OneLake i Azure AI Vyhledávač je potřeba postupovat podle kroků, ale neexistují žádné další závislosti funkcí.

1. V souboru lakehouse přidejte do souboru vlastní pár klíč-hodnota metadat, který indikuje, že je soubor označen pro smazání. Můžete například pojmenovat vlastnost IsDeleted, která je nastavená na hodnotu false. Pokud chcete soubor odstranit, změňte ho na true.

   

2. V Azure AI Vyhledávač upravte definici zdroje dat tak, aby zahrnovala vlastnost "dataDeletionDetectionPolicy". Například následující zásada považuje soubor za odstraněný, pokud má vlastnost metadat "IsDeleted" s hodnotou true.

   PUT https://[service name].search.windows.net/datasources/file-datasource?api-version=2026-04-01
   {
       "name" : "onelake-datasource",
       "type" : "onelake",
        "credentials": {  
           "connectionString": "ResourceId={FabricWorkspaceGuid}"  
       },  
       "container": {  
           "name": "{LakehouseGuid}",  
           "query": "{optionalLakehouseFolderOrShortcut}"  
       },  
       "dataDeletionDetectionPolicy" : {
           "@odata.type" :"#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy",
           "softDeleteColumnName" : "IsDeleted",
           "softDeleteMarkerValue" : "true"
       }
   }
   

Po spuštění indexeru a odstranění dokumentu z indexu vyhledávání můžete odstranit fyzický soubor v datovém jezeře.

Mezi klíčové body patří:

• Plánování spuštění indexeru pomáhá tento proces automatizovat. Doporučujeme naplánovat všechny scénáře přírůstkového indexování.

• Pokud se zásada detekce odstranění nenastavila při prvním spuštění indexeru, musíte indexer resetovat , aby načetla aktualizovanou konfiguraci.

• Pamatujte si, že detekce odstranění není podporovaná pro zástupce Amazon S3 a Google Cloud Storage kvůli závislosti na vlastních metadatech.

Přidání vyhledávacích polí do indexu

Do indexu vyhledávání přidejte pole pro příjem obsahu a metadat souborů OneLake Data Lake.

1. Vytvořte nebo aktualizujte index a definujte vyhledávací pole, která ukládají obsah souboru a metadata:

   {
       "name" : "my-search-index",
       "fields": [
           { "name": "ID", "type": "Edm.String", "key": true, "searchable": false },
           { "name": "content", "type": "Edm.String", "searchable": true, "filterable": false },
           { "name": "metadata_storage_name", "type": "Edm.String", "searchable": false, "filterable": true, "sortable": true  },
           { "name": "metadata_storage_size", "type": "Edm.Int64", "searchable": false, "filterable": true, "sortable": true  },
           { "name": "metadata_storage_content_type", "type": "Edm.String", "searchable": false, "filterable": true, "sortable": true }     
       ]
   }
   

2. Vytvoření pole klíče dokumentu ("key": true) Nejlepšími kandidáty pro obsah souboru jsou vlastnosti metadat.

   • metadata_storage_path (výchozí) úplná cesta k objektu nebo souboru. Pole klíče (ID v tomto příkladu) se naplní hodnotami z metadata_storage_path, protože se jedná o výchozí hodnotu.

   • metadata_storage_name, použitelné pouze v případě, že názvy jsou jedinečné. Pokud chcete toto pole použít jako klíč, přejděte "key": true na tuto definici pole.

   • Vlastní vlastnost metadat, kterou přidáte do souborů. Tato možnost vyžaduje, aby proces nahrání souboru přidal tuto vlastnost metadat do všech objektů blob. Vzhledem k tomu, že klíč je povinná vlastnost, všechny soubory, u které chybí hodnota, se nedají indexovat. Pokud jako klíč použijete vlastní vlastnost metadat, vyhněte se změnám této vlastnosti. Indexery při změně vlastnosti klíče přidají duplicitní dokumenty pro stejný soubor.

   Vlastnosti metadat často obsahují znaky, například / a -, které jsou neplatné pro klíče dokumentu. Protože indexer má vlastnost base64EncodeKeys (true ve výchozím nastavení), automaticky kóduje vlastnost metadat bez nutnosti konfigurace nebo mapování polí.

3. Přidejte pole "content" pro uložení extrahovaného textu z každého souboru prostřednictvím vlastnosti "content" souboru. Tento název nemusíte používat, ale můžete tak využít implicitní mapování polí.

4. Přidejte pole pro standardní vlastnosti metadat. Indexer může číst vlastní vlastnosti metadat, standardní vlastnosti metadat a vlastnosti metadat specifických pro obsah .

Konfigurace a spuštění indexeru souborů OneLake

Po vytvoření indexu a zdroje dat můžete indexer vytvořit. Konfigurace indexeru určuje vstupy, parametry a vlastnosti, které řídí chování doby běhu. Můžete také určit, které části objektu blob se mají indexovat.

1. Vytvořte nebo aktualizujte indexer tak, že ho pojmenujte a odkazujete na zdroj dat a cílový index:

   {
     "name" : "my-onelake-indexer",
     "dataSourceName" : "my-onelake-datasource",
     "targetIndexName" : "my-search-index",
     "parameters": {
         "batchSize": null,
         "maxFailedItems": null,
         "maxFailedItemsPerBatch": null,
         "base64EncodeKeys": null,
         "configuration": {
             "indexedFileNameExtensions" : ".pdf,.docx",
             "excludedFileNameExtensions" : ".png,.jpeg",
             "dataToExtract": "contentAndMetadata",
             "parsingMode": "default"
         }
     },
     "schedule" : { },
     "fieldMappings" : [ ]
   }
   

2. Nastavte "batchSize", pokud výchozí hodnota (10 dokumentů) buď nedostatečně využívá, nebo přetěžuje dostupné prostředky. Výchozí velikosti dávek jsou specifické pro zdroj dat. Indexování souborů nastavuje velikost dávky na 10 dokumentů při rozpoznávání větší průměrné velikosti dokumentu.

3. V části "konfigurace" určete, které soubory se indexují na základě typu souboru, nebo ponechte nezadané, aby se načetly všechny soubory.

   Zadejte "indexedFileNameExtensions"čárkami oddělený seznam přípon souborů (s úvodní tečkou). Stejným způsobem pro "excludedFileNameExtensions" označte, která rozšíření by se měla přeskočit. Pokud je stejné rozšíření v obou seznamech, je vyloučené z indexování.

4. V části "konfigurace" nastavte "dataToExtract", abyste mohli určit, které části souborů se indexují:

   • Výchozí hodnota je contentAndMetadata. Určuje, že se indexují všechna metadata a textový obsah extrahovaný ze souboru.

   • Parametr storageMetadata určuje, že se indexují pouze standardní vlastnosti souboru a metadata zadaná uživatelem . I když jsou vlastnosti zdokumentované pro objekty blob Azure, vlastnosti souboru jsou stejné pro OneLake s výjimkou metadat souvisejících se SAS.

   • AllMetadata určuje, že standardní vlastnosti souboru a všechna metadata nalezených typů obsahu se extrahují z obsahu souboru a indexují se.

5. V části "konfigurace" nastavte "parsingMode", pokud by se soubory měly mapovat na více vyhledávacích dokumentů nebo pokud se skládají z prostého textu, dokumentů JSON nebo souborů CSV.

6. Určete mapování polí , pokud existují rozdíly v názvu nebo typu pole nebo pokud potřebujete v indexu vyhledávání více verzí zdrojového pole.

   Při indexování souborů můžete často vynechat mapování polí, protože indexer má integrovanou podporu mapování vlastností "obsahu" a metadat na podobně pojmenovaná a zapisovaná pole v indexu. U vlastností metadat indexer automaticky nahradí pomlčky - podtržítky v indexu vyhledávání.

Pro více informací o jiných vlastnostech vytvořte indexer. Úplný seznam popisů parametrů najdete v tématu Vytvoření indexeru (REST) v rozhraní REST API. Parametry jsou stejné pro Microsoft OneLake.

Ve výchozím nastavení se indexer spustí automaticky při jeho vytvoření. Toto chování můžete změnit nastavením "zakázáno" na hodnotu true. Pokud indexer vytvoříte v zakázaném stavu, spusťte indexer na vyžádání , až ho budete chtít použít, nebo ho umístěte do plánu.

Kontrola stavu indexeru

Tady se dozvíte více přístupů k monitorování stavu indexeru a historie spuštění.

Řešení chyb

Mezi chyby, ke kterým běžně dochází při indexování, patří nepodporované typy obsahu, chybějící obsah nebo nadměrné soubory. Indexer souborů OneLake se ve výchozím nastavení zastaví, jakmile narazí na soubor s nepodporovaným typem obsahu. Můžete ale chtít, aby indexování pokračovalo i v případě, že dojde k chybám, a později ladit jednotlivé dokumenty.

Přechodné chyby jsou běžné pro řešení zahrnující více platforem a produktů. Pokud ale indexer udržujete podle harmonogramu (například každých 5 minut), měl by být indexer schopen tyto chyby napravit v následujícím spuštění.

Existuje pět vlastností indexeru, které řídí odpověď indexeru při výskytu chyb.

{
  "parameters" : { 
    "maxFailedItems" : 10, 
    "maxFailedItemsPerBatch" : 10,
    "configuration" : { 
        "failOnUnsupportedContentType" : false, 
        "failOnUnprocessableDocument" : false,
        "indexStorageMetadataOnlyForOversizedDocuments": false
    }
  }
}

Další kroky

Zkontrolujte, jak průvodce importem dat funguje, a vyzkoušejte si ho pro tento indexer. Pomocí integrované vektorizace můžete vytvořit bloky a vytvářet vkládání pro vektorové nebo hybridní vyhledávání pomocí výchozího schématu.