Řešení potíží s nesrovnalostmi v úložišti a metrikách ve službě Azure AI Vyhledávač

Tento článek odpovídá na běžné otázky týkající se metrik úložiště, které se zobrazují nekonzistentně napříč webem Azure Portal, rozhraními REST API a sadami Azure SDK.

Hodnoty úložiště ve službě Azure AI Vyhledávač se shromažďují pravidelně a nemusí odrážet stav v reálném čase. Ve většině scénářů se proto očekávají krátkodobé nesrovnalosti.

Základní informace o tom, jak se metriky shromažďují a hlásí, najdete v tématu Monitorování služby Azure AI Vyhledávač.

Proč se při odstraňování nebo aktualizaci dokumentů okamžitě nemění úložiště?

Když odstraníte dokumenty, Azure AI Vyhledávač odstranění okamžitě potvrdí, ale relamace fyzického úložiště probíhá prostřednictvím operací sloučení na pozadí. Podkladový dokument se během dalších dotazů označí jako odstraněný a přeskočí. Když jsou indexovány nové dokumenty a interní index se rozrůstá, systém vyčistí odstraněné dokumenty a uvolní při tom prostředky. To znamená, že pravděpodobně budete sledovat prodlevu mezi odstraněním dokumentů a uvolněním podkladových prostředků.

Aktualizace dokumentů mají podobný vliv na úložiště. Vzhledem k tomu, že dokumenty jsou neměnné, je aktualizace interně operací odstranění a vložení: stará verze je označena jako odstraněná a vloží se nová verze. Dokud operace sloučení na pozadí nečistí starou verzi, může se stát, že se úložiště dočasně zvýší, místo aby zůstala stejná.

Tyto operace sloučení se obvykle dokončí do 24 až 72 hodin v závislosti na zatížení služby. Pokud se blížíte limitu úložiště vašeho cenového tarifu, zohledněte toto dočasné navýšení při plánování rozsáhlých aktualizací nebo nahrazování dokumentů.

Další informace najdete v tématu Odstranění dokumentů v indexu vyhledávání a režijní náklady při odstraňování nebo aktualizaci dokumentů v indexu.

Proč se hodnoty portálu a rozhraní API liší současně?

Azure Portal a rozhraní REST API můžou hlásit různé hodnoty, protože mají různá četnost aktualizací. Konkrétně:

• Karta Využití na stránce Přehled portálu se pravidelně aktualizuje, obvykle každých několik minut.
• Funkce GET Service Statistics vrací čítače na úrovni služby, včetně storageSizevectorIndexSize, a documentCount.
• Funkce GET Index Statistics vrací čítače pro jednotlivé indexy.

Statistiky na úrovni služeb a indexu se shromažďují nezávisle a v různých intervalech. Snímek z jedné plochy nemusí být zarovnaný se snímkem z druhého, pokud nebyl zachycen ve stejnou dobu. Toto chování je normální a neoznačuje vadu.

Další informace o monitorovaných plochách najdete v tématu Monitorování služby Azure AI Vyhledávač.

Proč je nově sestavený index větší než starší index s podobným obsahem?

Znovu sestavený index může dočasně zobrazit jiný profil úložiště, protože operace sloučení na pozadí nedokončily čištění starých verzí dokumentů. V závislosti na zatížení služby obvykle sloučení trvá 24 až 72 hodin. Během tohoto období se úložiště může objevit větší, než se čekalo, což je zvlášť důležité zvážit, pokud se blížíte limitu úložiště cenové úrovně. Naplánujte rozsáhlé operace opětovného sestavení nebo migrace během období nižší aktivity indexování a monitorujte metriky úložiště, dokud se sloučení nedokončí.

I po dokončení operací sloučení se konečná velikost znovu sestaveného indexu může mírně lišit od původního indexu. Velikost úložiště indexu je nedeterministická a výsledek ovlivňuje několik faktorů:

• Změny schématu, například přidání polí, analyzátorů nebo konfigurací vektorů
• Vzorce příjmu dat a aktualizace, které ovlivňují poměr odstraněných dokumentů
• Nastavení optimalizace vektorů, jako jsou kvantizace nebo možnosti redukce úložiště.

Další informace o faktorech, které ovlivňují velikost, najdete v tématu Velikost a omezení indexu vektoru a omezení služby ve službě Azure AI Vyhledávač.

Proč celková velikost indexu vektoru neodpovídá celkové velikosti úložiště?

storageSize a vectorIndexSize měří různé věci:

• storageSize je celková stopa disku indexu, včetně obsahu všech datových typů, jako je text, metadata a vektory.
• vectorIndexSize je limit velikosti vektorového indexu načteného do paměti. Vektorová pole, která používají vyčerpávající algoritmus KNN, nevyužívají kvótu indexu vektoru a neuvádějí nulový počet pro vectorIndexSize. Další informace najdete v tématu Velikost a omezení indexu vektoru.

Celkové úložiště spotřebované vektory na disku může být větší než velikost indexu vektorů v paměti, protože Azure AI Vyhledávač ukládá více kopií vektorových polí pro různé účely. Informace o tom, co jsou tyto kopie a jak snížit spotřebu disku, naleznete v tématu Odstranění volitelných vektorových instancí z úložiště.

Jak mám porovnat metriky správně?

Pokud chcete zjistit, jestli je nesrovnalost skutečná nebo artefakt časování, zachyťte hodnoty ze stejného povrchu v konzistentním časovém intervalu UTC:

1. Volejte statistiku služby GET a statistiku indexu GET ve stejném pětiminutovém intervalu.
2. Opakujte vzorkování s pevným tempem, například každých 20 až 30 minut.
3. Před závěrem, že hodnoty se nekonvergují, porovnejte aspoň tři po sobě jdoucí okna.
4. Vyhodnoťte storageSize odděleně od vectorIndexSize protože sledují různé fyzické struktury.

Kdy se očekává nesrovnalost v porovnání se skutečnou vadou?

Většina nesrovnalostí se očekávají a vyřeší se bez zásahu. Pokud jsou splněna kritéria vad, otevřete žádost o podporu s důkazy popsanými v další části.

Očekávané odchylky

• Nedávno jste provedli velké indexování, aktualizace nebo odstranění a hodnoty se stále konvergují.
• Hodnoty portálu a rozhraní API se liší, ale mezera se zužuje mezi opakovanými vzorky.
• storageSize a vectorIndexSize neshodují se, což je záměrně, protože měří různé věci.

Možná vada

• Nesrovnalosti přetrvávají nejméně ve třech zarovnaných oknech vzorkování během období nízké aktivity zápisu nebo odstranění.
• Bez ohledu na opakované vzorkování není viditelný žádný trend konvergence.
• Nahlášené hodnoty vedou k nesprávným provozním rozhodnutím, jako jsou zpožděná aktivace automatického škálování nebo selhání vynucení kvóty.

Co mám zahrnout do žádosti o podporu?

Do žádosti o podporu uveďte následující informace:

• Časová razítka UTC pro každý portál a ukázku rozhraní API
• Nezpracované odpovědi JSON ze statistik služby GET a STATISTIKY INDEXU GET
• Během období pozorování přibližný objem přijímání, aktualizace a mazání dat.
• Popis provozního dopadu, například zpoždění škálování, blok kvóty nebo nesprávné hlášení kapacity

Související obsah

• Monitorování služby Azure AI Vyhledávač
• Velikost a omezení vektorových indexů
• Limity služeb ve službě Azure AI Vyhledávač
• Odstranění dokumentů v indexu vyhledávání