Změna a odstranění detekce pomocí indexerů pro Azure Storage ve službě Azure AI Vyhledávač

Po vytvoření počátečního indexu vyhledávání můžete chtít, aby následné úlohy indexeru zabíraly jenom nové a změněné dokumenty. U indexovaného obsahu pocházejícího ze služby Azure Storage dochází k detekci změn automaticky, protože indexery sledují poslední aktualizaci pomocí předdefinovaných časových razítek u objektů a souborů ve službě Azure Storage.

I když je detekce změn samozřejmostí, detekce odstranění tomu tak není. Indexer nesleduje odstranění objektu ve zdrojích dat. Aby nedošlo k vytvoření osiřelých dokumentů vyhledávání, můžete implementovat strategii dočasného odstranění, která nejprve vede k odstranění dokumentů vyhledávání a teprve poté k fyzickému odstranění ve službě Azure Storage jako druhý krok.

Existují dva způsoby implementace strategie měkkého odstranění:

• Obnovitelné odstranění nativního objektu blob platí jenom pro službu Blob Storage.
• Měkké odstranění pomocí vlastních metadat

Strategie detekce odstranění se musí použít již od úplně prvního spuštění indexovacího procesu. Pokud jste před počátečním spuštěním zásady odstranění nevytvořili, všechny dokumenty, které byly odstraněny před implementací zásady, zůstanou ve vašem indexu, i když zásadu přidáte do indexeru později a resetujete ji. Pokud k tomu došlo, doporučujeme vytvořit nový index pomocí nového indexeru a zajistit, aby zásady odstranění byly zavedeny od začátku.

Požadavky

• Použití indexeru Azure Storage pro Blob Storage, Table Storage, File Storage nebo Data Lake Storage Gen2

• Používejte konzistentní klíče dokumentů a strukturu souborů. Změna klíčů dokumentů nebo názvů a cest adresářů (platí pro ADLS Gen2) naruší interní sledovací informace, které indexery používají k tomu, aby zjistily, který obsah byl indexován a kdy byl naposledy indexován.

Nativní měkké smazání objektů blob

V případě tohoto přístupu pro detekci odstranění služba Azure AI Vyhledávač závisí na nativní funkci obnovitelného odstranění objektů blob ve službě Azure Blob Storage a určí, jestli se objekty blob přechádly do stavu obnovitelného odstranění. Když se v tomto stavu zjistí objekty blob, použije indexer vyhledávání tyto informace k odebrání odpovídajícího dokumentu z indexu.

Požadavky na nativní měkké odstranění

• Objekty blob musí být v kontejneru Azure Blob Storage, včetně kontejneru objektů blob ADLS Gen2. Zásady dočasného odstranění nativního objektu blob služby Azure AI Vyhledávač nejsou podporovány pro Azure Files.

• Povolení obnovitelného odstranění objektů blob

• Klíče dokumentů v indexu musí být namapovány buď na vlastnost objektu blob, nebo na metadata objektu blob, jako je "metadata_storage_path".

• Ke konfiguraci podpory obnovitelného odstranění můžete použít rozhraní REST API nebo konfiguraci zdroje dat indexeru na webu Azure Portal.

• Verzování objektů blob nesmí být povoleno v účtu úložiště. V opačném případě není nativní soft delete podporováno podle návrhu.

Konfigurace nativního obnovitelného odstranění

V rámci Blob Storage, když povolíte měkké mazání podle požadavků, nastavte zásady uchovávání na hodnotu, která je mnohem vyšší než plán intervalu indexeru. Pokud dojde k problému se spuštěním indexeru nebo pokud máte velký počet dokumentů k indexování, je dostatek času, aby indexer nakonec zpracoval měkce smazané soubory. Indexery služby Azure AI Vyhledávač odstraní dokument z indexu jenom tehdy, když zpracovávají objekt blob ve stavu měkkého odstranění.

Ve službě Azure AI Vyhledávač nastavte nativní zásady detekce obnovitelného odstranění objektů blob ve zdroji dat. Můžete to udělat buď z webu Azure Portal, nebo pomocí rozhraní REST API. Následující pokyny vysvětlují, jak nastavit zásady detekce odstranění na webu Azure Portal nebo prostřednictvím rozhraní REST API.

PUT https://[service name].search.windows.net/datasources/blob-datasource?api-version=2026-04-01
Content-Type: application/json
api-key: [admin key]
{
   "name" : "blob-datasource",
   "type" : "azureblob",
   "credentials" : { "connectionString" : "<your storage connection string>" },
   "container" : { "name" : "my-container", "query" : null },
   "dataDeletionDetectionPolicy" : {
   "@odata.type" :"#Microsoft.Azure.Search.NativeBlobSoftDeleteDeletionDetectionPolicy"
   }
}

Přeindexování neodstraněných objektů blob pomocí nativních zásad softwarového mazání

Pokud obnovíte měkce odstraněný objekt blob ve službě Blob Storage, indexer ho nemusí vždy reindexovat. Důvodem je to, že indexer používá časové razítko objektu blob LastModified k určení, jestli je indexování potřeba. Pokud je měkkým odstraněním objekt blob obnoven, jeho časové LastModified razítko se nezmění, takže pokud indexer už zpracoval objekty blob s novějšími LastModified časovými razítky, nepřeindexuje obnovený objekt blob.

Aby bylo zajištěno, že se neodstraněný objekt blob přeindexuje, aktualizujte jeho časové razítko LastModified. Jedním ze způsobů, jak to udělat, je opětovné uložení metadat tohoto objektu blob. Metadata nemusíte měnit, ale při opětovném ukládání metadat se aktualizuje časové razítko objektu blob LastModified , aby ho indexer věděl, že je vyzvedne.

Strategie měkkého odstranění s využitím vlastních metadat

Tato metoda používá vlastní metadata k označení, zda má být vyhledávací dokument odebrán z indexu. Vyžaduje dvě samostatné akce: odstranění vyhledávacího dokumentu z indexu následované odstraněním souboru ve službě Azure Storage.

Tato funkce je obecně dostupná.

V Azure Storage i službě Azure AI Vyhledávač je potřeba postupovat podle kroků, ale neexistují žádné další závislosti funkcí.

1. Ve službě Azure Storage přidejte do souboru vlastní metadatovou dvojici klíč-hodnota, která přímo označuje soubor ke smazání. Můžete například pojmenovat vlastnost IsDeleted, která je nastavená na hodnotu false. Pokud chcete soubor odstranit, změňte ho na true.

2. Ve službě Azure AI Vyhledávač upravte definici zdroje dat tak, aby zahrnovala vlastnost dataDeletionDetectionPolicy. Následující zásada například považuje soubor za odstraněný, pokud má vlastnost IsDeleted metadat s hodnotou true:

   PUT https://[service name].search.windows.net/datasources/file-datasource?api-version=2026-04-01
   {
       "name" : "file-datasource",
       "type" : "azurefile",
       "credentials" : { "connectionString" : "<your storage connection string>" },
       "container" : { "name" : "my-share", "query" : null },
       "dataDeletionDetectionPolicy" : {
           "@odata.type" :"#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy",
           "softDeleteColumnName" : "IsDeleted",
           "softDeleteMarkerValue" : "true"
       }
   }
   

3. Spusťte indexer. Jakmile indexer zpracuje soubor a odstraní dokument z indexu vyhledávání, můžete fyzický soubor odstranit ve službě Azure Storage.

Přeindexovat neodstraněné bloky a soubory

Měkké vymazání můžete vrátit zpět, pokud původní zdrojový soubor stále fyzicky existuje ve službě Azure Storage.

1. Změňte "softDeleteMarkerValue" : "false" na blob nebo soubor ve službě Azure Storage.

2. Zkontrolujte časové razítko objektu blob nebo souboru LastModified a ověřte, že je novější než poslední spuštění indexeru. Aktualizaci aktuálního data a času můžete vynutit opětovným uložením existujících metadat.

3. Spusťte indexer.

Omezení

Nativní obnovitelné odstranění objektu blob ani obnovitelné odstranění prostřednictvím vlastních metadat neplatí při použití scénářů indexování 1:N . Chcete-li odstranit položku dokumentu, musíte odeslat žádost o odstranění do indexu pomocí operace odstranění rozhraní REST API.

Další kroky

• Indexery ve službě Azure AI Vyhledávač
• Jak nakonfigurovat indexer objektů blob
• Přehled indexování objektů blob