"Változások és törlések észlelése az Azure Storage indexelőivel az Azure AI Keresésben"

A kezdeti keresési index létrehozása után előfordulhat, hogy a későbbi indexelő feladatok csak új és módosított dokumentumokat szeretnének felvenni. Az Azure Storage-ból származó indexelt tartalmak esetében a változásészlelés automatikusan megtörténik, mert az indexelők az Azure Storage-objektumok és -fájlok beépített időbélyegeinek használatával nyomon követik az utolsó frissítést.

Bár a változás érzékelése biztos, a törlés érzékelése nem az. Az indexelők nem követik nyomon az objektumok törlését az adatforrásokban. A "puha vagy ideiglenes törlés" stratégiájának implementálásával elkerülheti az elárvult keresési dokumentumokat. Ez először a keresési dokumentumok törlését eredményezi, amit egy második lépésként a fizikai törlés az Azure Storage-ban követ.

A puha törlési stratégia kétféleképpen valósítható meg:

• Natív blob puha törlése, csak a Blob Storage-ra vonatkozik
• Lágy törlés testreszabott metaadatok használatával

A törlésészlelési stratégiát az első indexelőfuttatásból kell alkalmazni. Ha a kezdeti futtatás előtt nem hozta létre a törlési szabályzatot, a szabályzat implementálása előtt törölt dokumentumok továbbra is az indexben maradnak, még akkor is, ha később hozzáadja a szabályzatot az indexelőhöz, és visszaállítja azt. Ha ez történt, javasoljuk, hogy hozzon létre egy új indexet egy új indexelő használatával, biztosítva, hogy a törlési szabályzat a kezdetektől érvényben legyen.

Előfeltételek

• Az Azure Storage-indexelő használata Blob Storage, Table Storage, File Storage vagy Data Lake Storage Gen2 esetén

• Konzisztens dokumentumkulcsok és fájlstruktúra használata. A dokumentumkulcsok vagy könyvtárnevek és elérési utak módosítása (az ADLS Gen2-re vonatkozik) megszakítja az indexelők által használt belső nyomkövetési információkat, hogy megtudják, melyik tartalom indexelt, és mikor lett utoljára indexelve.

Natív blob puha törlése

Ebben a törlésészlelési módszerben az Azure AI Keresés az Azure Blob Storage natív blobtörlési funkciójától függ annak megállapításához, hogy a blobok átálltak-e helyreállítható törölt állapotra. Ha a blobok ebben az állapotban vannak észlelve, a keresési indexelő ezeket az információkat felhasználva eltávolítja a megfelelő dokumentumot az indexből.

A natív puha törlés követelményei

• A blobok egy Azure Blob Storage-tárolóban lehetnek, beleértve az ADLS Gen2 Blob-tárolót is. Az Azure Files nem támogatja az Azure AI Keresés natív blobok helyreállítható törlési szabályzatát.

• A blobok helyreállítható törlésének engedélyezése.

• Az indexben lévő dokumentumok dokumentumkulcsait blobtulajdonságnak vagy blob metaadatoknak kell megfeleltetnie, például "metadata_storage_path".

• Az Azure Portal REST API-jának vagy indexelő adatforrás-konfigurációjának használatával konfigurálhatja a helyreállítható törlés támogatását.

• A Blob verziószámozása nem engedélyezhető a tárfiókban. Ellenkező esetben a natív helyreállítható törlést a tervezés nem támogatja.

Natív puhatörlés konfigurálása

A Blob Storage-ban, amikor a követelményeknek megfelelően engedélyezi a helyreállítható törlést, állítsa a megőrzési szabályzatot az indexelő időközi ütemezésénél sokkal magasabb értékre. Ha probléma merül fel az indexelő futtatásakor, vagy ha nagy számú dokumentumot szeretne indexelni, az indexelőnek sok ideje van arra, hogy végül feldolgozhassa a helyreállíthatóan törölt blobokat. Az Azure AI Keresés-indexelők csak akkor törölnek egy dokumentumot az indexből, ha a blobot helyreállíthatóan törölt állapotban dolgozzák fel.

Az Azure AI Keresésben állítson be egy natív blob puha törlésészlelési szabályzatot az adatforrásra. Ezt az Azure Portalon vagy a REST API használatával teheti meg. Az alábbi utasítások bemutatják, hogyan állíthatja be a törlésészlelési szabályzatot az Azure Portalon vagy REST API-kon keresztül.

PUT https://[service name].search.windows.net/datasources/blob-datasource?api-version=2026-04-01
Content-Type: application/json
api-key: [admin key]
{
   "name" : "blob-datasource",
   "type" : "azureblob",
   "credentials" : { "connectionString" : "<your storage connection string>" },
   "container" : { "name" : "my-container", "query" : null },
   "dataDeletionDetectionPolicy" : {
   "@odata.type" :"#Microsoft.Azure.Search.NativeBlobSoftDeleteDeletionDetectionPolicy"
   }
}

Törölt blobok újraindexelése natív helyreállítható törlési szabályzatokkal

Ha helyreállít egy lágyan törölt blobot a Blob Storage-ban, az indexelő nem fogja mindig újraindexelni. Ennek az az oka, hogy az indexelő a blob időbélyegével LastModified határozza meg, hogy szükség van-e indexelésre. Amikor a puha törölt blobot visszaállítják, a LastModified időbélyege nem frissül, így ha az indexelő már feldolgozta az újabb LastModified időbélyegekkel rendelkező blobokat, nem fogja újraindexelni a visszaállított blobot.

A nem törölt blob újraindexelésének biztosításához frissítse a blob időbélyegét LastModified . Ennek egyik módja a blob metaadatainak újbóli mentése. Nem kell módosítania a metaadatokat, de a metaadatok újbóli mentése frissíti a blob időbélyegét LastModified , hogy az indexelő tudja, hogy vegye fel.

Lágy törlési stratégia egyéni metaadat használatával

Ez a módszer egyéni metaadatokat használ annak jelzésére, hogy el kell-e távolítani egy keresési dokumentumot az indexből. Ehhez két külön művelet szükséges: a keresési dokumentum törlése az indexből, majd a fájltörlés az Azure Storage-ban.

Ez a funkció általánosan elérhető.

Az Azure Storage-ban és az Azure AI Keresésben is vannak követendő lépések, de más funkciófüggőségek nincsenek.

1. Az Azure Storage-ban adjon hozzá egy egyéni metaadatkulcs-érték párot a fájlhoz, amely jelzi, hogy a fájl törlésre van megjelölve. Például elnevezheti az "IsDeleted" tulajdonságot, és hamis értékre állíthatja. Amikor törölni szeretné a fájlt, állítsa a beállítást igazra.

2. Az Azure AI Keresésben szerkessze az adatforrás definícióját úgy, hogy az tartalmazzon egy "dataDeletionDetectionPolicy" tulajdonságot. Az alábbi szabályzat például úgy véli, hogy egy fájl törölve lesz, ha rendelkezik egy metaadat-tulajdonsággal IsDeleted , amelynek értéke true:

   PUT https://[service name].search.windows.net/datasources/file-datasource?api-version=2026-04-01
   {
       "name" : "file-datasource",
       "type" : "azurefile",
       "credentials" : { "connectionString" : "<your storage connection string>" },
       "container" : { "name" : "my-share", "query" : null },
       "dataDeletionDetectionPolicy" : {
           "@odata.type" :"#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy",
           "softDeleteColumnName" : "IsDeleted",
           "softDeleteMarkerValue" : "true"
       }
   }
   

3. Futtassa az indexelőt. Miután az indexelő feldolgozta a fájlt, és törölte a dokumentumot a keresési indexből, törölheti a fizikai fájlt az Azure Storage-ban.

Törölt blobok és fájlok újraindexelése

Visszavonhatja a helyreállítható törlést, ha az eredeti forrásfájl fizikailag még létezik az Azure Storage-ban.

1. Módosítsa a "softDeleteMarkerValue" : "false" blobot vagy a fájlt az Azure Storage-ban.

2. Ellenőrizze a blob vagy a fájl LastModified időbélyegét annak érdekében, hogy az frissebb legyen, mint az utolsó indexelő futtatása. A meglévő metaadatok ismételt mentésével kényszerítheti az aktuális dátum és idő frissítését.

3. Futtassa az indexelőt.

Korlátozások

Sem a natív blobok helyreállítható törlése, sem az egyéni metaadatokon keresztüli helyreállítható törlés nem vonatkozik az egy-a-többhöz indexelési forgatókönyvek használatakor. A dokumentumbejegyzés törléséhez el kell küldenie egy törlési kérelmet az indexnek a REST API törlési műveletével.

Következő lépések

• Indexelők az Azure AI Keresésben
• Blobindexelő konfigurálása
• Blob indexelés áttekintése