Poznámka k transparentnosti: Azure AI Vyhledávač

Rozšiřování AI je aplikace modelů strojového učení z Foundry Tools přes obsah, který není snadno prohledávatelný v jeho nezpracované podobě. Prostřednictvím obohacení se analýza a odvozování používají k vytvoření prohledávatelného obsahu a struktury, kde dříve žádný neexistoval.

Obohacení AI je volitelným rozšířením kanálu indexeru Azure AI Vyhledávač, které se připojuje k Foundry Tools ve stejné oblasti jako vyhledávací služba zákazníka. Kanál obohacování má stejné základní komponenty jako typický indexer (indexer, zdroj dat, index) a sadu dovedností, které specifikují atomické kroky obohacení. Sadu dovedností lze sestavit pomocí předdefinovaných dovedností založených na rozhraních API foundry Tools, jako je zpracování obrazu a jazyka, nebo vlastních dovedností , které spouštějí externí kód, který poskytnete.

Vektorové vyhledávání je metoda načítání informací, kde jsou dokumenty a dotazy reprezentovány v indexu jako vektory místo prostého textu. Při vektorovém vyhledávání generují modely strojového učení hostované externě z Azure AI Vyhledávač vektorové reprezentace zdrojových vstupů, což může být text, obrázky, zvuk nebo videoobsávek. Tato matematická a normalizovaná reprezentace obsahu označovaného jako vektorové vkládání poskytuje společný základ pro scénáře hledání.

Pokud je vše vektorem, může dotaz najít shodu ve vektorovém prostoru, i když je přidružený původní obsah v jiném typu média, jako jsou obrázky a text nebo jazyk než dotaz. Vyhledávací web prohledá index, který hledá vektorový obsah, který je nejvíce podobný, tj. nejbližší k vektoru v dotazu. Porovnávání na základě matematické vektorové reprezentace místo klíčových slov má mnohem větší šanci najít shody, které sdílejí sémantický význam, ale jsou textově odlišné, například "vůz" a "auto". Tím získáte podrobnější úvod k vektorovým vkládáním a způsobu fungování algoritmu podobnosti.

Klíčové termíny

Sémantický ranker používá kontext nebo sémantický význam dotazu k výpočtu nového skóre relevance, které podporuje výsledky, které jsou sémanticky nejblíže záměru původního dotazu k vrcholu. Počáteční sada výsledků může pocházet z hledání klíčových slov s hodnocením BM25 , vektorovým vyhledáváním nebo hybridním vyhledáváním , které zahrnuje obojí. Také vytvoří a vrátí "titulky" extrahováním doslovného obsahu nalezeného ve výsledku a "zvýraznění", aby upoutávali pozornost na důležitý obsah v rámci výsledku. Může také vrátit "odpověď", pokud má dotaz charakteristiky otázky ("co je bod mrazu vody") a výsledek obsahuje text, který má vlastnosti odpovědi ("voda zamrzne na 0°C nebo 32°F").

Klíčové termíny

Přepsání dotazů vytváří syntetické dotazy, což jsou dotazy, které jsou uměle vytvořeny nebo generovány ze skutečného zákaznického vstupu, aby se zlepšilo odvolání (zlomek relevantních dokumentů načtených z celkového počtu dostupných dokumentů) hodnocení BM25, vektorového vyhledávání nebo hybridního vyhledávání. Původní dotaz se zkombinuje se syntetickými dotazy, aby se zajistilo optimální zpětné získání z vyhledávače.

Dovednost GenAI Prompt je součástí katalogu dovedností Azure AI Vyhledávač, což zákazníkům umožňuje vylepšit indexy vyhledávání pomocí obsahu generovaného AI na základě jejich dat. Díky použití vlastních dat a preferencí organizace zákazníka tato dovednost pomáhá vytvářet přizpůsobené souhrny, odpovědi nebo přehledy, které odpovídají jejich konkrétním potřebám.

To znamená, že když koncový uživatel prohledá obsah zákazníka prostřednictvím AI Search, může obsah vygenerovaný AI poskytovat informativní a kontextové výsledky, což uživatelům usnadní nalezení informací, které hledají.

Klíčové termíny

Agentní načítání je architektura paralelního zpracování dotazů, která používá konverzační model rozsáhlého jazyka (LLM) jako "plánovač dotazů". LLM podle potřeby převádí historii konverzací uživatele do jednoho nebo několika zaměřených poddotazů. Tyto poddotazy se spustí současně na indexu Azure AI Vyhledávač a služba sloučí nejlepší výsledky a vrátí:

• Jeden řetězec obsahu, který obsahuje nejrelevantnější pasáže (základní data).
• Pole odkazů (volitelné), které poskytuje úplné zdrojové dokumenty nebo části.
• Pole aktivit, které obsahuje každou operaci, počet tokenů a latence, které napomáhají ke sledování nákladů a ladění.

Klíčové termíny

Chování systému

Několik vestavěných dovedností pro rozšiřování AI v Azure AI Vyhledávač využívají výhod Foundry Tools. Pokud se rozhodnete použít dovednost, podívejte se na poznámky k transparentnosti pro každou integrovanou dovednost propojenou níže:

• Dovednost extrakce klíčových frází: Jazyk – Extrakce klíčových frází
• Dovednost rozpoznávání jazyka: Jazyk – Rozpoznávání jazyka
• Dovednost pro propojení entit: Jazyk – Propojení entit
• Dovednost rozpoznávání entit: Jazyk – Rozpoznávání pojmenovaných entit (NER)
• Dovednost detekce PII: Jazyk – Detekce PII
• Dovednost pro analýzu sentimentu: Jazyk - Analýza sentimentu
• Dovednost analýzy obrázků: Vision – Analýza obrázků
• Dovednost OCR: Vision – OCR
• Dovednost rozložení dokumentu: Analýza dokumentů

Další informace o příslušných schopnostech, omezeních, výkonu, hodnoceních a metodách integrace a zodpovědném používání najdete v dokumentaci pro každou dovednost. Mějte na paměti, že použití těchto dovedností v kombinaci může vést ke složeného efektu (například chyby zavedené při použití OCR se provedou při extrakci klíčových frází).

Případy použití

Příklady případů použití

Protože Azure AI Vyhledávač je řešení fulltextového vyhledávání, účelem rozšiřování AI je zlepšit vyhledávací nástroj nestrukturovaného obsahu. Tady je několik příkladů scénářů rozšiřování obsahu podporovaných integrovanými dovednostmi:

• Překlad a rozpoznávání jazyka umožňují vícejazyčné vyhledávání.
• Rozpoznávání entit extrahuje lidi , místa a další entity z velkých bloků textu.
• Extrakce klíčových frází identifikuje a pak vypíše důležité termíny.
• OCR rozpozná tištěný a ručně psaný text v binárních souborech.
• Analýza obrázků popisuje obsah obrázků a výstupy jsou popisy jako prohledávatelná textová pole.
• Integrovaná vektorizace je funkce preview, která volá model Azure vkládání OpenAI k vektorizaci dat a ukládání vložených dat do Azure AI Vyhledávač pro vyhledávání podobnosti.

Chování systému

Ve vektorovém vyhledávání hledá vyhledávací modul vektory v prostoru pro vložení v indexu, aby vyhledaly vektory blízké vektoru dotazu. Tato technika se nazývá hledání nejbližšího souseda. To také pomáhá kvantifikovat stupeň podobnosti nebo vzdálenosti mezi položkami. Vysoký stupeň podobnosti vektorů označuje, že původní data byla také podobná. Dva algoritmy vektorového vyhledávání podporované Azure AI Vyhledávač přistupují k tomuto problému různými způsoby a vyvažují různé charakteristiky, jako je latence, propustnost, přesnost vyhledávání a paměť.

Nalezení skutečné množiny "k" nejbližších sousedů vyžaduje, aby se vstupní vektor důkladně porovnával se všemi vektory v datové sadě. I když je výpočet podobnosti jednotlivých vektorů poměrně rychlý, provádění těchto vyčerpávajících porovnání ve velkých datových sadách je výpočetně nákladné a pomalé kvůli úplnému počtu požadovaných porovnání. Čím vyšší je rozměrnost každého vektoru, tím složitější a pomalejší budou výpočty u každého vektoru.

K vyřešení této výzvy se používají přibližné metody vyhledávání nejbližšího souseda (ANN) k výměně mezi úrovní přesnosti a rychlostí. Tyto metody mohou efektivně najít malou sadu kandidátských vektorů, které se s největší pravděpodobností podobají vektoru dotazu, což snižuje celkový počet porovnání vektorů. Azure AI Vyhledávač používá algoritmus Hierarchical Navigable Small World (HNSW) k uspořádání vysoce dimenzionálních datových bodů do pravděpodobnostní hierarchické hierarchické struktury grafu, která umožňuje rychlé vyhledávání podobnosti a umožňuje vyladěné kompromisy mezi přesností vyhledávání a výpočetními náklady.

Azure AI Vyhledávač také podporuje více metrik podobnosti k určení nejbližšího souseda a skóre každého výsledku vektoru. Patří mezi ně kosinus, Euclidean (označovaný také jako "l2 norm") a "tečkovaný součin". Kosinus vypočítá úhel mezi dvěma vektory. Euclidean vypočítá euklidovou vzdálenost mezi dvěma vektory, což je l2 normou rozdílu dvou vektorů. Tečkovaný součin je ovlivněn velikostí obou vektorů a úhlem mezi nimi. U normalizovaných vložených prostorů je tečkovaný součin ekvivalentem kosinusové podobnosti, ale je efektivnější.

Případy použití

Příklady případů použití

Existuje mnoho scénářů, ve kterých je vektorové vyhledávání užitečné a jsou omezené pouze funkcemi modelu, které se používají ke generování vložených vektorů. Tady je několik obecných případů použití, kdy je možné použít vektorové vyhledávání:

• Semantic search: Extrahujte sémantické porozumění textu použitím modelu, jako jsou modely pro embedování od Azure OpenAI Service.
• Hledání v různých datových typech (multimodální):: Zakóduje obsah pocházející z obrázků, textu, zvuku a videa nebo mixu a provede jedno hledání ve všech.
• Vícejazyčné vyhledávání: K vyhledání výsledků v podporovaných jazycích použijte model pro více jazyků, který představuje dokument ve více jazycích.
• Hybridní vyhledávání: Vektorové vyhledávání je implementováno na úrovni pole, což znamená, že můžete vytvářet dotazy, které obsahují vektorová pole a prohledávatelná textová pole. Dotazy běží paralelně a výsledky se sloučí do jedné odpovědi. Výsledky hybridního vyhledávání s sémantickým řazením se ukázaly tak, aby poskytovaly nejlepší kvalitativní výsledky.
• Filtrované vektorové vyhledávání: Dotaz může obsahovat vektorový dotaz a výraz filtru. Filtry použité u jiných datových typů jsou užitečné pro zahrnutí nebo vyloučení dokumentů na základě jiných kritérií.
• Vektorová databáze: Toto čisté úložiště vektorů je určené pro dlouhodobou paměť nebo externí znalostní bázi pro velké jazykové modely (LLM). Jako vektorový index můžete například použít Azure AI Vyhledávač v rámci toky výzev Azure Machine Learning pro aplikace RAG (Retrieval Augmented Generation).

Důležité informace o výběru případu použití

Může se jednat o aspekty a obavy související s konkrétním modelem, který zvolíte ke generování vložených vektorů. Každý model může mít své vlastní problémy s předsudky a nestranností a měl by být vyhodnocen před použitím ve vaší aplikaci. Azure AI Vyhledávač neposkytuje žádné modely pro vektorizaci obsahu jako součást služby. Příklady těchto aspektů najdete v Azure OpenAI Service Poznámka k transparentnosti. Jiné modely třetích stran nebo operačního systému mají své vlastní aspekty ke kontrole.

Chování systému

Hodnocení výsledků prvního kroku vyhledávání vrstvy je vysoce náročný na prostředky. K dokončení zpracování rankeru v rámci očekávané latence operace dotazu se do sémantického rankeru odešlou jako vstupy pouze prvních 50 výsledků z modulu načítání. Pokud je příliš dlouhý, před spuštěním sémantického rankeru se nejprve odešle 50 výsledků do kroku souhrnu, který extrahuje z každého výsledku nejrelevantnější obsah.

V kroku souhrnu se načtený dokument nejprve provede procesem přípravy, který zřetězí různé vstupy dokumentu do jednoho dlouhého řetězce. Pokud je řetězec příliš dlouhý, provede se cvičení oříznutí s určitým důrazem na zachování obsahu obsaženého v polích přidaných do sémantické konfigurace. Po přípravě řetězců se předávají prostřednictvím modelů strojového čtení a jazykové reprezentace, které určují, které věty a fráze poskytují nejlepší souhrn vzhledem k dotazu. Tato fáze extrahuje obsah z řetězce, který bude předán dále do fáze sémantického řazení, a volitelně vypíše sémantický titulek nebo sémantickou odpověď.

Poslední krok, sémantické řazení, určuje význam obsahu extrahovaného v předchozím kroku k dotazu uživatele a vypíše sémantické skóre hodnocení v rozsahu od 4 (vysoce relevantní) do 0 (irelevantní). Tento krok je založený na textu dotazu a na souhrnném textu a zahrnuje složitější výpočty než ty z vrstvy načítání.

Případy použití

Příklady případů použití

Sémantický ranker lze použít ve více scénářích. Mezi zamýšlené případy použití systému patří:

• Generování s podporou načítání (RAG): Sémantický ranker umožňuje opřít odpovědi vašich generativních AI aplikací o relevantní výsledky hledání, které splňují práh skóre, který definujete. Například Azure OpenAI Service na vašich datech používá Azure AI Vyhledávač k rozšíření modelů OpenAI Azure s vašimi daty. Pomocí sémantického rankeru v rámci této služby můžete zlepšit relevantnost informací poskytovaných modelu Azure OpenAI.
• Vyhledávání obsahu: Sémantický ranker umožňuje vyhledávat relevantní obsah v datech pomocí analýzy textu a metadat. Vyhledávání na webu learn.microsoft.com používá sémantický ranker ke zlepšení relevance vyhledávání pro vývojáře softwaru, kteří hledají technickou dokumentaci Microsoftu.
• Vyhledávání elektronického obchodování: Sémantický ranker umožňuje podnikům elektronického obchodování vylepšit své vyhledávání tím, že poskytuje relevantní výsledky produktů na základě sémantické relevance. Například online prodejci používají sémantický ranker k optimalizaci svého prostředí elektronického obchodování tím, že poskytují relevantní výsledky hledání pro své online nakupující.
• QnA: Azure AI Vyhledávač organizacím umožňuje poskytovat uživatelům konverzační prostředí zodpovězením otázek na základě informací dostupných v jejich databázích. Výrobce může například použít sémantický ranker k rozšíření informací dostupných chatovacímu robotu. Technici můžou pomocí tohoto chatovacího robota klást otázky a načítat vysoce relevantní interní dokumenty související s dotazem a okamžitými odpověďmi v načtených dokumentech.

Důležité informace o výběru případu použití

Zákazníkům doporučujeme používat sémantické rankery ve svých inovativních řešeních nebo aplikacích. Tady jsou ale některé aspekty při výběru případu použití:

• Citlivé informace : Modely strojového učení, které umožňují sémantický ranker zpracovávat data načtená v vyhledávacím dotazu, včetně citlivých informací, jako jsou osobní údaje a finanční informace. Před implementací sémantického rankeru pro takové případy použití zvažte všechny důsledky ochrany osobních údajů a zabezpečení.
• Předsudky a nestrannost : Sémantický ranker využívá modely hlubokého učení. Tyto modely hlubokého učení byly natrénovány pomocí veřejného obsahu. Zákaznická data jsou vyhodnocena sémantickými rankerovými modely. Při výběru případů použití vyhodnoťte výstup sémantického rankeru, zejména pro případy použití, které mají vliv na nestrannost a rovnost, jako je nábor a přijímací řízení.
• Dodržování předpisů: Některá odvětví, jako je zdravotnictví a finance, jsou vysoce regulovaná a mohou mít omezení používání umělé inteligence a strojového učení. Před použitím sémantického rankeru v takových odvětvích se ujistěte, že řešení vyhovuje příslušným předpisům a pokynům.

Chování systému

Původní dotaz se odešle do jemně doladěného Small Language Modelu (SLM) hostovaného službou Azure AI Vyhledávač. Tento model byl natrénován pomocí veřejného obsahu. SLM transformuje původní dotaz na sadu syntetických dotazů. Tyto syntetické dotazy jsou sémanticky blízko záměru původního dotazu, ale obsahem obsahují jinou sadu termínů za účelem zlepšení vyhledávacích schopností vyhledávače.

Syntetické dotazy se pak zkombinují s původním dotazem a odešlou se do vyhledávacího webu. Když provádí řazení BM25, klíčové termíny ze syntetických dotazů se zkombinují s původním dotazem. Při provádění vektorového vyhledávání je původní dotaz zřetězen se syntetickými dotazy před krokem vektorového vložení.

Případy použití

Příklady případů použití

Přepisování dotazů lze využít v různých situacích. Přepsání dotazů vyžaduje použití sémantického rankeru.

• Interakce chatu s vašimi daty: Přepsání dotazů umožňuje uzemnění odpovědí z aplikací generující umělé inteligence v relevantních výsledcích hledání, které splňují prahovou hodnotu skóre relevance, kterou definujete. Například Azure OpenAI Service Na vašich datech používá Azure AI Vyhledávač k rozšíření modelů OpenAI Azure s vašimi daty. Přepsání dotazů v rámci této služby můžete použít ke zlepšení relevance výsledků informací předávaných do modelu Azure OpenAI.
• Konversational Questions and Answers (QnA): Azure AI Vyhledávač organizacím umožňuje poskytovat uživatelům konverzační prostředí zodpovězením otázek na základě informací dostupných v jejich databázích. Výrobce může například použít sémantický ranker k rozšíření informací dostupných chatovacímu robotu. Technici můžou pomocí tohoto chatovacího robota klást otázky a načítat vysoce relevantní interní dokumenty související s dotazem a okamžitými odpověďmi v načtených dokumentech.

Důležité informace o výběru případu použití

Zákazníkům doporučujeme používat přepis dotazů ve svých inovativních řešeních nebo aplikacích. Tady jsou ale některé aspekty při výběru případu použití:

• Citlivé informace a PII: Jemně vyladěné SLM , které umožňují přepis dotazů, zpracovává vyhledávací dotaz, který může obsahovat citlivé informace. Před implementací přepisu dotazů pro takové případy použití zvažte všechny dopady na ochranu osobních údajů a zabezpečení.
• Redakovat osobní údaje, aby se snížily neuvědomělé předsudky. Například při přezkoumávání životopisů ve firmě se může rozhodnout zablokovat jméno, adresu nebo telefonní číslo kandidáta, aby během hledání omezili nevědomé genderové nebo jiné předsudky.
• Právní a regulační aspekty. Organizace musí vyhodnotit potenciální konkrétní právní a regulační povinnosti při používání jakéhokoli vyhledávání AI, které nemusí být vhodné pro použití v každém odvětví nebo scénáři. Omezení se mohou lišit v závislosti na regionálních nebo místních zákonných požadavcích. Vyhledávání AI navíc není určeno a nesmí být používáno způsoby zakázanými v platných podmínkách poskytování služeb a příslušných kodexů chování.

Dovednost GenAI Prompt umožňuje zákazníkům předat obsah dokumentu, který existuje v jejich datových zdrojích, a vlastní výzvy k jazykovému modelu, který mají ve vlastnictví a je hostován na Microsoft Foundry. Jazykový model zpracovává vstup a vrací obohacený obsah, který se pak ingestuje do indexu vyhledávání spolu s původním obsahem dokumentu. Tento proces umožňuje rozšíření indexů vyhledávání pomocí souhrnů generovaných AI, titulků obrázků a extrakce entit mimo jiné na základě kritérií definovaných zákazníkem.

Následující příklady ukazují, jak funguje dovednost GenAI Prompt.

Souhrn lístků s nulovým snímkem

Cíl: Umožněte pracovníkům podpory rychle proletět vícestránková e-mailová vlákna během několika sekund.

Jak to funguje:

• Během indexování se každá dlouhá konverzace z tiketu rozdělí do logických segmentů (počáteční požadavek, následné otázky, diagnostické protokoly atd.).
• Pro každý segment je jazykový model instruován k "shrnutí této části ve třech ostrých větách".
• Výsledné abstrakce při načítání nahrazují nezpracovaný text, takže agenti (a podřízené kanály RAG) vidí pouze destilovanou podstatu.

Proč to pomáhá: Stručné souhrny na úrovni segmentů snižují velikost výzvy, urychlují generování odpovědí a pomáhají agentům soustředit se na základní problém zákazníka.

Extrakce entit s několika příklady

Cíl: Podporovat dotazy jako "Ukaž mi všechny tikety, kde produkt X selhal s chybou 500."

Jak to funguje

• Celý text lístku se odešle do dovednosti společně s jedním zpracovaným příkladem, který ukazuje požadovaný formát výstupu (seznam klíčových entit, jako je název produktu, kód chyby, operační systém a závažnost).
• Model extrahuje každý výskyt 〈produktu, error_code, platformy, závažnosti〉.
• Tento strukturovaný seznam je uložený s dokumentem, což umožňuje okamžité filtry, například všechny pády s vysokou závažností na iOS.

Proč to pomáhá: Předem vypočítané entity přeměňují volně formulované zprávy zákazníků na filtrovatelná data, což umožňuje vedoucím podpory rozpoznat vzory a určit prioritu oprav bez ruční analýzy.

Jednorázová klasifikace směrování lístku

Cíl: Automaticky směrovat každý tiket do správné fronty.

Jak to funguje:

• Každý lístek se analyzuje s výzvou, která obsahuje pět kategorií podpory – Fakturace, Technický problém, Přístup k účtu, Žádost o funkce a Obecná zpětná vazba – a jeden referenční příklad (Příklad lístku → fakturace).
• Model přiřadí přesně jeden popisek na základě pěti výše uvedených kategorií podpory ke každému lístku, který jako vstup zadá systém vyhledávání AI.
• Systém helpdesku používá označení k zasílání fakturačních dotazů finančním specialistům, technické poruchy inženýrům atd.

Proč to pomáhá: Rychlé a konzistentní označování zkracuje nesprávně směrované lístky, zkracuje dobu řešení a zlepšuje spokojenost zákazníků.

Návrh řešení řetězu myšlenek

Cíl: Poskytněte agentům podpory jeden nejlepší další krok k vyřešení problému.

Jak to funguje

• Celý lístek (nebo nejnovější zpráva zákazníka) se předá jazykovému modelu.
• Zpráva uživatele dává modelu pokyn po systémovém promptu: "Mysli interně krok za krokem, ale jako výstup dej pouze doporučenou další akci."
• Vrácené pokyny mohou být: "Požádejte zákazníka, aby vymaže mezipaměť a znovu nainstaloval verzi 3.2.1."
• Agenti můžou návrh zkopírovat přímo nebo ho upřesnit, než odpoví.

Proč to pomáhá: Agenti obdrží doporučení, které je možné provést bez soukromého řetězu důvodů modelu, což šetří čas při zachování stručnosti a relevantních kroků řešení potíží. V některých případech není agent podpory zahlcený zbytečnými informacemi.

Případy použití

Příklady případů použití

Dovednost GenAI Prompt vylepšuje rozšiřování dat v rámci Azure AI Vyhledávač a pomáhá s relevanci odpovědí, aby odpovídala záměru a očekáváním uživatelů. Díky integraci obsahu generovaného AI do indexů vyhledávání tato dovednost umožňuje přesnější a kontextově odpovídající výsledky hledání. Mezi klíčové aplikace patří:

• Generování stručných souhrnů dlouhých dokumentů, které usnadňují rychlejší načítání informací: Právní firma zpracovává rozsáhlé smlouvy a používá dovednost GenAI Prompt k vytvoření krátkých souhrnů se zvýrazněním klíčových klauzulí, což usnadňuje právníkům kontrolu základních informací bez čtení celých dokumentů.
• Vytváření textových popisů obrázků za účelem zlepšení vyhledávání a přístupnosti: Mediální společnost spravuje rozsáhlou knihovnu obrázků. Použitím dovednosti GenAI Prompt generují popisné titulky pro každý obrázek a umožňují efektivní vyhledávání a organizaci v rámci systému správy digitálních prostředků.
• Identifikace a extrahování konkrétních entit nebo faktů z dokumentů na základě vlastních kritérií: Výzkumná instituce analyzuje vědecké studie, aby extrahovali zmínky o chemických sloučeninách a jejich vlastnostech. Dovednost GenAI Prompt automatizuje tuto extrakci a rychle naplní strukturovanou databázi pro výzkumné pracovníky, aby získali přístup k relevantním datům.
• Klasifikace dokumentů do definovaných kategorií pro lepší organizaci a načítání: Pojišťovací společnost denně dostává mnoho typů dokumentů. Pomocí dovednosti GenAI Prompt tyto dokumenty automaticky klasifikují do kategorií, jako jsou deklarace identity, aktualizace zásad a zpětná vazba zákazníků. Zjednoduší se tak proces správy dokumentů a v případě potřeby se snadněji vyhledávají konkrétní dokumenty.

I když se jedná o běžné aplikace, dovednost je flexibilní a umožňuje zákazníkům definovat výzvy přizpůsobené jejich jedinečným požadavkům.

Důležité informace o výběru případu použití

Je důležité si uvědomit, že obsah, výzvy a nasazení jazykového modelu jsou výhradně prostředky spravované zákazníky. Foundry podporuje filtry zabezpečení obsahu pro nasazení modelů a zákazníci zodpovídají za konfiguraci těchto filtrů podle potřeby. Kromě konfigurací dostupných v Foundry Azure AI Vyhledávač nepoužije další bezpečnostní filtry obsahu v rámci dovednosti GenAI Prompt.

Při implementaci dovednosti GenAI Prompt zvažte následující:

• Implementujte procesy pro kontrolu obsahu generovaného umělou inteligencí, zejména při použití transformací vstupních dat, které by mohly ovlivnit spolehlivost informací. Pomocí nástroje Azure AI Vyhledávač debug relace otestujte výzvy na ukázkových dokumentech před úplným nasazením.
• Vyhněte se scénářům, kdy použití nebo zneužití systému může vést k významné fyzické nebo psychologické újmě jednotlivce. Například scénáře, které diagnostikují pacienty nebo předepisují léky, mají potenciál způsobit významné škody. Začlenění smysluplného lidského hodnocení a dohledu do scénáře může pomoct snížit riziko škodlivých výsledků.
• Pečlivě zvažte všechny generativní případy použití. Scénáře generování obsahu můžou být pravděpodobnější, že vytvoří nezamýšlené výstupy a tyto scénáře vyžadují pečlivé zvážení a zmírnění rizik.
• Právní a regulační aspekty. Organizace musí vyhodnotit potenciální konkrétní právní a regulační povinnosti při používání jakéhokoli vyhledávání AI, které nemusí být vhodné pro použití v každém odvětví nebo scénáři. Omezení se mohou lišit v závislosti na regionálních nebo místních zákonných požadavcích. Vyhledávání AI navíc není určeno a nesmí být používáno způsoby zakázanými v platných podmínkách poskytování služeb a příslušných kodexů chování.

Chování systému

Původní konverzace nebo vyhledávací dotaz je odeslán do modelu Azure OpenAI vlastněného zákazníkem, aby mohl provést kroky plánování dotazů. Plánování dotazů rozdělí konverzaci do řady optimalizovaných poddotazů, které odrážejí základní záměr uživatele s opraveným pravopisem a rozšířenými synonymy. Azure AI Vyhledávač pak zpracuje všechny poddotazy najednou v rámci celého systému načítání vyhledávání. Poddotazy se nejprve zpracovávají hybridní kombinací vyhledávání klíčových slov a vektorového vyhledávání. Hledání klíčových slov najde dokumenty v indexu vyhledávání s podobnými klíčovými slovy jako poddotazy. Vektorové vyhledávání najde dokumenty v indexu vyhledávání, které mohou mít různá klíčová slova, ale podobný základní význam poddotazům. Výsledky tohoto hybridního vyhledávání se pak přeřadí podle sémantických rankerů a najdou dokumenty, které nejlépe odpovídají záměru poddotazu. Služba pak sloučí a odebere duplicity z seřazených výsledků a použije limity odpovědí, jako je maximální délka výstupu před odesláním konečné odpovědi.

Případy použití

Příklady případů použití

• Uzemnění dat pro vlastní chatovací roboty Propojte chatovacího robota s oficiálními zásadami personálního oddělení a příručkou pro zaměstnance, aby když se někdo zeptá, "Kolik dní dovolené získám?", chatbot vytáhne odpověď přímo z těchto dokumentů, a ne odhadne.
• Vybavení podnikových znalostních asistentů, aby respektovali kontext uživatele, filtry a historii chatu. Když se například zaměstnanec zeptá na cíle pro konkrétní období, použije asistent svou roli, aktuální filtry (například oblast: USA) a probíhající konverzaci (například poslední téma bylo "kanál Q2") a vygeneruje přizpůsobenou odpověď.
• Řešte složité úlohy hledání informací, kdy má dotaz s jedním klíčovým slovem nízkou míru přesnosti Mezi takové úkoly patří průvodci odstraňováním potíží, výzkum lékařské literatury nebo porovnání produktů. Pokud například technik jednoduše vyhledá "chybu zařízení" a obdrží obecné výsledky, může agentský načítač zohledňovat celou historii konverzací, která může zahrnovat model zařízení, verzi softwaru, historii údržby a stav sítě, aby mohl zobrazit přesné relevantní články.
• Zajistěte úplnou transparentnost toho, co bylo načteno, proč a za jakou cenu. Například při sumarizaci regulačních dokumentů a minulých zjištění auditu je důležité znát přesné zdroje (například "sec filing from Q2 2023"), výběr odůvodnění (například "odpovídající klíčová slova: zveřejnění rizika, deriváty") a související náklady (například využití tokenů).

Důležité informace o výběru případu použití

• Latence: Přidání druhého volání LLM pro plánování dotazů nevyhnutelně prodlužuje čas obousměrného přenosu požadavku. I u rychlých modelů byste měli otestovat dodatečné zpoždění v provozu ve špičce a ověřit, že celkové prostředí zůstává pro vaše uživatele přijatelné. Pokud je latence důležitá, zvažte ukládání častých dotazů do mezipaměti nebo použití menších, rychlejších modelů plánování.
• Náklady: Poplatky se účtují na dvou dimenzích – tokeny modelu OpenAI a tokeny řazení vyhledávání. Volání plánovače dotazů je účtováno společností Azure OpenAI za zpracování vstupních i výstupních tokenů, zatímco každý poddotaz je účtován společností Azure AI Vyhledávač za tokeny, které musí seřadit podle pořadí. Tokeny řazení jsou v počáteční fázi verze Public Preview zdarma. Odhadněte čísla tokenů modelu i řazení pro vaši úlohu předem.
• Citlivé vstupy: Celá historie konverzací se předá do modelu plánovače, což znamená, že jakákoli identifikovatelná nebo podnikově citlivá data opustí vaši okamžitou hranici důvěryhodnosti. Před vyvoláním LLM odstraňte, maskujte nebo proveďte redakci těchto dat a zdokumentujte toto opatření ve stavu ochrany dat.
• Omezení oblasti a náhledu: Agentní načítání je k dispozici pouze v oblastech, kde je dostupný sémantický ranker. Jednotlivý agent může odkazovat pouze na jeden index vyhledávání. Ověřte, že region hostující vaše data a model podporuje agentické načítání, a pokud potřebujete pokrýt více indexů nebo geografických oblastí, naplánujte samostatné agenty.
• Dodržování předpisů: Ověřte, že použití plánovače dotazů řízeného LLM splňuje požadavky specifické pro odvětví nebo oblast (například rezidenci dat, ochranu osobních údajů nebo pravidla automatizovaného rozhodování ve zdravotnictví nebo financích). Zajistěte odpovídající lidský dohled a kontrolu. Zvažte zahrnutí ovládacích prvků, které vývojářům pomůžou včas ověřit, kontrolovat nebo schvalovat akce, které můžou zahrnovat kontrolu plánovaných úkolů nebo volání externích zdrojů dat.
• Právní a regulační aspekty: Uživatelé musí vyhodnotit potenciální právní a regulační povinnosti při používání jakýchkoli nástrojů a řešení Foundry, které nemusí být vhodné pro použití v každém odvětví nebo scénáři. Nástroje nebo řešení Foundry navíc nejsou určené a nesmí být používány způsoby zakázanými v příslušných podmínkách služeb a příslušných kodexech chování.

Obohacení AI v Azure AI Vyhledávač využívá funkce indexeru a zdroje dat služby k volání Foundry Tools pro obohacení obsahu. Použijí se omezení indexerů a zdrojů dat používaných v tomto procesu. Další informace o těchto souvisejících omezeních najdete v dokumentaci k indexeru a zdroji dat . Platí také omezení každého nástroje Foundry používaného kanálem rozšiřování AI v Azure AI Vyhledávač. Podívejte se na poznámky o transparentnosti pro každou službu, kde naleznete více informací o těchto omezeních.

Technická omezení, provozní faktory a rozsahy

Všechny vektory nahrané do Azure AI Vyhledávač se musí generovat externě ze služby pomocí modelu podle vašeho výběru. Je vaší zodpovědností zvážit technická omezení a provozní faktory každého modelu a to, jestli jsou vložené prvky, které vytváří, optimalizované nebo dokonce vhodné pro váš případ použití. To zahrnuje odvozování významu extrahovaného z obsahu i rozměrnost vektorového vloženého prostoru.

Model vektorizace vytvoří prostor pro vložení, který definuje výsledné prostředí vyhledávání koncových uživatelů aplikace. Model může mít negativní vliv na funkčnost i výkon, pokud model neodpovídá požadovanému případu použití nebo vygenerované vkládání je špatně optimalizované.

I když mnoho omezení vektorového vyhledávání vychází z modelu použitého ke generování vkládání, existuje několik dalších možností, které byste měli zvážit v době dotazu. Můžete si vybrat ze dvou algoritmů pro určení relevance výsledků hledání vektoru: Vyčerpávající k-nejbližší sousedy (KNN) nebo Hierarchický pohyblivý malý svět. Vyčerpávající metoda k-nejbližších sousedů (KNN) provádí vyhledávání hrubou silou celého vektorového prostoru pro shody, které jsou nejpodobnější dotazu, tím, že vypočítává vzdálenosti mezi všemi dvojicemi datových bodů a najde přesných k nejbližších sousedů k bodu dotazu. I když je přesnější, může být tento algoritmus pomalý. Pokud je primárním cílem nízká latence, zvažte použití algoritmu Hierarchical Navigable Small World (HNSW). HNSW provádí efektivní přibližné hledání nejbližších sousedů (ANN) ve vysoce dimenzionálních prostorách vestavění. Podívejte se do dokumentace k vyhledávání vektoru pro více informací o těchto možnostech.

Osvědčené postupy pro zlepšení výkonu systému

• Věnujte čas testování aplikace s různým obsahem a typy dotazů, které očekáváte, že vaše aplikace bude podporovat. Zjistěte, které možnosti dotazů jsou pro vaše potřeby nejvhodnější.
• Věnujte čas testování modelů s celou řadou vstupního obsahu, abyste pochopili, jak se chová v mnoha situacích. Tento obsah může zahrnovat potenciálně citlivé vstupy, aby bylo možné zjistit, jestli model neobsahuje nějaké předsudky. Přehled Responsibilní AI Azure OpenAI poskytuje pokyny k zodpovědnému používání AI.
• Zvažte přidání Bezpečnost obsahu Azure AI do architektury aplikace. Obsahuje rozhraní API pro detekci škodlivého uživatelem generovaného a vygenerovaného textu nebo obrázků umělé inteligence v aplikacích a službách.

Vyhodnocení a integrace vektorové vyhledávání pro vaše použití

Abyste zajistili optimální výkon, proveďte vlastní vyhodnocení řešení, která plánujete implementovat pomocí vektorového vyhledávání. Postupujte podle procesu vyhodnocení, který: (1) používá některé interní zainteresované strany k vyhodnocení výsledků, (2) používá A/B testování pro zavedení vektorového vyhledávání uživatelům, (3) zahrnuje klíčové ukazatele výkonu (KPI) a monitorování metrik při prvním nasazení služby do prostředí a (4) testuje a upravuje sémantickou konfiguraci rankeru a/nebo definici indexu, včetně okolních prostředí, jako je umístění uživatelského rozhraní nebo obchodní procesy.

Microsoft pečlivě vyhodnotil vektorové vyhledávání z hlediska latence a úplnosti a relevance pomocí různých datových sad k měření rychlosti, škálovatelnosti a přesnosti vrácených výsledků. Primárním cílem vašeho úsilí o vyhodnocení by mělo být výběr vhodného modelu pro váš konkrétní případ použití, pochopení omezení a předsudků modelu a důkladné testování koncového až koncového prostředí pro vyhledávání vektorů.

Technická omezení, provozní faktory a rozsahy

Může se stát, že sémantické výsledky, titulky a odpovědi nebudou vypadat správně. Modely používané sémantickým rankerem se trénují na různých zdrojích dat (včetně open source a výběrů z Microsoft Bing korpusu). Sémantický ranker podporuje širokou škálu jazyků a snaží se odpovídat uživatelským dotazům na obsah z výsledků hledání. Sémantický ranker je také prémiová funkce s dalšími náklady, která by se měla zvážit při odhadování celkových nákladů na kompletní řešení.

Sémantický ranker pravděpodobně zlepší relevanci více než obsah, který je sémanticky bohatý, jako jsou články a popisy. Vyhledává kontext a souvislosti mezi termíny a zvýrazňuje shody, které dávají větší smysl vzhledem k dotazu. Porozumění jazyku "najde" souhrny nebo titulky a odpovědi v obsahu, ale na rozdíl od generování modelů, jako jsou Azure OpenAI Service modely GPT-3.5 nebo GPT-4, je nevytváří. Do odpovědi je zahrnut pouze doslovný text ze zdrojových dokumentů, který se pak dá vykreslit na stránce výsledků hledání pro produktivnější vyhledávání.

Nejmodernější předem vytrénované modely se používají k sumarizaci a hodnocení. Chcete-li zachovat rychlý výkon, který uživatelé očekávají od vyhledávání, se sémantická sumarizace a hodnocení použijí pouze na prvních 50 výsledků, jak je vyhodnoceno výchozím algoritmem bodování. Vstupy jsou odvozeny z obsahu ve výsledku hledání. Nemůže se vrátit zpět k indexu vyhledávání pro přístup k jiným polím ve vyhledávacím dokumentu, které nebyly vráceny v odpovědi dotazu. Vstupy podléhají délce tokenu 8 960. Tyto limity jsou nezbytné k udržení doby odezvy milisekund.

Výchozí algoritmus bodování je z Bingu a Microsoft Research a je integrovaný do infrastruktury Azure AI Vyhledávač jako doplňková funkce. Modely se používají interně, nejsou vystaveny vývojáři a nejsou konfigurovatelné. Další informace o výzkumu a investicích do umělé inteligence, které podporují sémantický ranker, najdete v tématu Jak AI od Bingu podporuje Azure AI Vyhledávač (Microsoft Blog o výzkumu).

Sémantický ranker také nabízí odpovědi, titulky a zvýraznění v odpovědi. Pokud například model klasifikuje dotaz jako otázku a má 70% jistotu v odpovědi, model vrátí sémantickou odpověď. Sémantické titulky navíc poskytují nejrelevavantnější obsah ve výsledcích a poskytují stručný fragment kódu, který zvýrazňuje nejrelevantní slova nebo fráze v daném fragmentu kódu.

Sémantické výsledky rankeru jsou založené na datech v podkladovém indexu vyhledávání a modely poskytují hodnocení relevance, odpovědi a titulky na základě informací načtených z indexu. Před použitím sémantického rankeru v produkčním prostředí je důležité provést další testování a zajistit, aby byla datová sada přesná a vhodná pro zamýšlený případ použití. Další informace a příklady vyhodnocení sémantického rankeru najdete v obsahu a dodatku zde.

Výkon systému

V mnoha systémech AI se výkon často definuje ve vztahu k přesnosti – to znamená, jak často systém AI nabízí správnou předpověď nebo výstup. U rozsáhlých modelů přirozeného jazyka se dva různí uživatelé mohou podívat na stejný výstup a mají různé názory na to, jak užitečné nebo relevantní jsou, což znamená, že výkon pro tyto systémy musí být flexibilnější. Zde obecně zvažujeme výkon, který znamená, že aplikace funguje tak, jak vy a vaši uživatelé očekávají, včetně negenerování škodlivých výstupů.

Sémantický ranker byl natrénován na veřejném obsahu. V důsledku toho se sémantická relevance liší v závislosti na dokumentech v indexu a dotazech vydaných proti němu. Při rozhodování je důležité použít vlastní úsudek a provést důkladné shromáždění informací.

Osvědčené postupy pro zlepšení výkonu systému

• Věnujte čas A/B testování aplikace s různými typy dotazů, například klíčové slovo versus hybridní a sémantický ranker. Zjistěte, které možnosti dotazů jsou pro vaše potřeby nejvhodnější.
• Snažte se rozumně nastavit sémantickou konfiguraci v souladu s dokumentací k funkcím.
• Nedůvěřujte sémantickým odpovědím, pokud nemáte důvěru v přesnost informací v indexu vyhledávání.
• Nedůvěřujte vždy sémantickým titulkům, protože se extrahují z obsahu zákazníků prostřednictvím řady modelů, které predikují nejrelevantní odpovědi ve stručném fragmentu kódu.

Vyhodnocení sémantického rankeru

Metody vyhodnocení

Sémantický ranker byl vyhodnocen prostřednictvím interního testování, včetně automatizovaného a lidského úsudku u více datových sad a zpětné vazby od interních zákazníků. Testování zahrnuje hodnocení dokumentů označením jako relevantní nebo nerelevantní a jejich seřazení v pořadí podle priorit relevance. Podobně byly funkce titulků a odpovědí také hodnoceny prostřednictvím interního testování.

Výsledky vyhodnocení

Snažíme se dodávat všechny aktualizace modelu bez regresí (to znamená, že aktualizovaný model by měl pouze vylepšit aktuální produkční model). Každý kandidát se porovná přímo s aktuálním produkčním modelem pomocí metrik vhodných pro hodnocenou funkci (například Normalizovaný diskontovaný kumulativní zisk pro hodnocení a přesnosti a úplnosti odpovědí). Sémantické modely rankeru se trénují, ladí a vyhodnocují pomocí široké škály trénovacích dat, která představují dokumenty, které mají různé vlastnosti (jazyk, délku, formátování, styly a tóny), aby podporovaly nejširší škálu scénářů hledání. Naše trénovací a testovací data pocházejí z:

Zdroje dokumentů:

• Akademické a oborové srovnávací testy
• Zákaznická data (pouze testování, prováděné s oprávněním zákazníka)
• Syntetická data

Zdroje dotazů:

• Srovnávací sady dotazů
• Sady dotazů poskytnuté zákazníkem (pouze testování, prováděné s oprávněním zákazníka)
• Syntetické sady dotazů
• Sady dotazů generované člověkem

Zdroje popisků pro páry hodnoticích dotazů a dokumentů:

• Popisky srovnávacích testů pro akademickou a průmyslovou sféru
• Popisky vztahující se k zákazníkům (testování pouze s povolením zákazníka)
• Syntetické popisky dat
• Lidské hodnocení popisků

Vyhodnocení a integrace sémantického rankeru pro vaše použití

Výkon sémantických rankerů se liší v závislosti na skutečném použití a podmínkách, ve kterých ho lidé používají. Kvalita relevance poskytované prostřednictvím modelů hlubokého učení, které pohánějí schopnosti sémantického rankeru, je přímo spojena s kvalitou dat vašeho indexu vyhledávání. Modely aktuálně mají například omezení tokenů, která berou v úvahu pouze prvních 8 960 tokenů pro sémantické odpovědi. Proto pokud se na konci dlouhého dokumentu najde sémantická odpověď na vyhledávací dotaz (nad limit 8 960 tokenů), odpověď se nezadá. Stejné pravidlo platí pro titulky. Sémantická konfigurace také obsahuje relevantní vyhledávací pole v pořadí priority. Pole v tomto seznamu můžete přeuspořádat, aby lépe vyhovovala vašim potřebám ohledně relevance.

Aby se zajistil optimální výkon ve svých scénářích, měli by zákazníci provádět vlastní vyhodnocení řešení, která implementují, pomocí sémantického rankeru. Zákazníci by měli obecně sledovat proces vyhodnocení, který : (1) používá některé interní zúčastněné strany k vyhodnocení výsledků, (2) používá experimentování A/B k zavedení sémantického rankeru pro uživatele, (3) zahrnuje klíčové ukazatele výkonu a monitorování metrik při prvním nasazení služby do prostředí, a (4) testy a upraví sémantickou konfiguraci rankeru a/nebo definici indexu, včetně okolních prostředí, jako je umístění uživatelského rozhraní nebo obchodní procesy.

Pokud vyvíjíte aplikaci v doméně nebo oboru, jako je zdravotnictví, lidské zdroje, vzdělávání nebo právní pole, vyhodnoťte, jak dobře aplikace ve vašem scénáři funguje, implementujte silný lidský dohled, vyhodnoťte, jak dobře uživatelé chápou omezení aplikace a splňují všechny příslušné zákony. Zvažte další zmírnění rizik na základě vašeho scénáře.

Technická omezení, provozní faktory a rozsahy

Existují případy, kdy jsou syntetické dotazy nesprávné, mají příliš mnoho omezení nebo jsou příliš drahé. Přepisování dotazů podporuje širokou škálu jazyků a snaží se přepsat uživatelské dotazy tak, aby se maximalizoval rekal. Je nutné zadat jazyk dotazu jako vstup. Přepsání dotazů je součástí sémantického rankeru (funkce Azure AI Vyhledávač ke zlepšení relevance vyhledávání), což je prémiová funkce s dalšími náklady. To by se mělo zvážit při promítnutí celkových výdajů na komplexní řešení. Přepis dotazů se dá použít jenom v případě, že máte povolený sémantický ranker.

Před použitím přepisu dotazů v produkčním prostředí (živá verze aplikace) je důležité provést další testování a zajistit, aby syntetické dotazy byly vhodné pro zamýšlený případ použití. Další informace a příklady, jak vyhodnotit přepisování dotazů, najdete v obsahu a dodatku.

Výkon systému

U rozsáhlých modelů přirozeného jazyka se dva různí uživatelé mohou podívat na stejný výstup a mají různé názory na to, jak užitečné nebo relevantní jsou, což znamená, že výkon pro tyto systémy musí být flexibilnější. Zde obecně zvažujeme výkon, který znamená, že aplikace funguje tak, jak vy a vaši uživatelé očekávají, včetně negenerování škodlivých výstupů.

Výkon přepisování dotazů se liší v závislosti na reálných použitích a podmínkách, ve kterých ho uživatelé používají. Kvalita syntetických dotazů poskytovaných modelem přepisování dotazů přímo koreluje s původním vyhledávacím dotazem.

Aby se zajistil optimální výkon ve scénářích, měli by zákazníci provádět vlastní vyhodnocení řešení, která implementují, pomocí přepisování dotazů. Zákazníci by obecně měli postupovat podle procesu vyhodnocení, který:

1. používá některé interní zúčastněné strany k vyhodnocení výsledků,
2. používá experimentování A/B k zavedení přepisu dotazů pro uživatele a
3. zahrnuje klíčové ukazatele výkonu a monitorování metrik při prvním nasazení služby v prostředích.

Osvědčené postupy pro zlepšení výkonu systému

• Dokončete testování A/B pro vaši aplikaci s různými typy dotazů (úplný text, vektor, hybridní nebo jiný typ dotazů). Zjistěte, které možnosti dotazů jsou pro vaše potřeby nejvhodnější.
• Nepředpokládáme vždy, že každý syntetický dotaz vygenerovaný přepisem dotazu bude odrážet přesný záměr původního dotazu. Syntetické dotazy jsou generovány jemně vyladěným SLM, který generuje dotazy sémanticky podobné záměru původního dotazu, ale nemusí odpovídat přesnému záměru.

Vyhodnocení přepsání dotazu

Metody vyhodnocení

Přepsání dotazů bylo vyhodnoceno prostřednictvím interního testování, včetně automatizovaného a lidského úsudku u více datových sad a zpětné vazby od interních zákazníků. Testování zahrnovalo vyhodnocení relevance výsledků sémantického řazení v kombinaci s přepisem dotazů v porovnání s relevanci výsledků pouze sémantickým řazením.

Výsledky vyhodnocení

Každý kandidátní model se porovná přímo s aktuálně nasazeným modelem pomocí metrik vhodných pro vyhodnocení funkce. Modely přepisování dotazů se ladí a vyhodnocují pomocí široké škály veřejných dat, která představují dotazy, které mají různé vlastnosti (jazyk, délku, formátování, styly a tóny), aby podporovaly nejširší škálu scénářů hledání. Naše trénovací a testovací data pocházejí z:

Zdroje dokumentů:

• Akademické a oborové srovnávací testy
• Zákaznická data (pouze testování, prováděné s oprávněním zákazníka)

Zdroje dotazů:

• Srovnávací sady dotazů
• Sady dotazů poskytnuté zákazníkem (pouze testování, prováděné s oprávněním zákazníka)
• Syntetické sady dotazů
• Sady dotazů generované člověkem

Zdroje popisků pro páry hodnoticích dotazů a dokumentů:

• Popisky srovnávacích testů pro akademickou a průmyslovou sféru
• Popisky vztahující se k zákazníkům (testování pouze s povolením zákazníka)
• Syntetické popisky dat
• Lidské hodnocení popisků

Vyhodnocení a integrace přepisování dotazů pro vaše použití

Přepisování dotazů, které bylo trénováno na veřejném obsahu, způsobí, že se syntetické dotazy budou lišit v závislosti na zadaných dotazech. Proto je důležité použít vlastní úsudek a výzkum, když tento obsah použijete k rozhodování.

Technická omezení, provozní faktory a rozsahy

I když dovednost GenAI Prompt nabízí výkonné funkce, je nezbytné rozpoznat určitá omezení:

• Dovednost spoléhá na filtry obsahu nakonfigurované zákazníky v rámci Foundry. Azure AI Vyhledávač neposkytuje pro tuto dovednost další mechanismy bezpečnosti obsahu.
• Kvalita obsahu generovaného AI závisí na účinnosti výzev a základního jazykového modelu. Důkladné testování je nezbytné k zajištění toho, aby výstup splňoval požadované standardy.
• Zpracování velkých objemů dat pomocí složitých výzev může vyžadovat významné výpočetní prostředky a může způsobit latenci. Naplánujte a přidělujte zdroje moudře, abyste zachovali nejen výkon a nákladovou efektivitu, ale také zabránili možným zpožděním při zpracování dat.

Výkon systému

Osvědčené postupy pro zlepšení výkonu systému

Optimalizace výkonu dovednosti GenAI Prompt:

• Pomocí nástroje Azure AI Vyhledávač debug sessions otestujte výzvy na ukázkových dokumentech a před úplným nasazením zajistíte, aby obsah vygenerovaný AI odpovídal očekáváním.
• Vytvořte jasné a podrobné výzvy k efektivnímu vedení jazykového modelu, což snižuje pravděpodobnost irelevantních nebo nepřesných výstupů.
• Monitorujte výkon systému a škálujte prostředky podle potřeby, abyste zvládli výpočetní požadavky zpracování AI.
• Před zveřejněním nebo šířením povzbuďte lidský dohled nad výstupy. U generující umělé inteligence existuje potenciál pro generování obsahu, který může být pro daný úkol urážlivý nebo irelevantní.

Vyhodnocení dovednosti GenAI Prompt

Vyhodnocení a integrace dovednosti GenAI Prompt pro vaše použití

Pokud chcete maximalizovat výhody dovednosti GenAI Prompt v konkrétním kontextu, zvažte následující kroky:

• Určete konkrétní cíle rozšiřování, jako je generování stručných souhrnů, extrahování klíčových entit nebo vytváření popisných metadat, aby byla aplikace dovednosti sladěná s vašimi obchodními potřebami.
• Začněte podmnožinou dat, abyste posoudili výkon dovednosti a udělali potřebné úpravy. Tento přístup umožňuje řízené experimentování a upřesnění před úplným nasazením.
• Vytvořte mechanismy pro monitorování kvality a dopadu obsahu generovaného AI. Požádat koncové uživatele o zpětnou vazbu, aby identifikovali oblasti pro zlepšení a zajistili, že rozšířená data splňují očekávání uživatelů.

Technická omezení, provozní faktory a rozsahy

Mohou nastat případy, kdy jsou poddotazy generované LLM irelevantní, příliš omezující nebo zvyšují náklady na tokeny. Agentické načítání podporuje všechny jazyky zpracovávané rodinou GPT-4o, ale kvalita vygenerovaného dotazovacího plánu stále závisí na přehlednosti uživatelského vstupu. Vzhledem k tomu, že agentické načítání závisí na sémantickém rankeru pro každý poddotaz, musíte mít v indexu povolený sémantický ranker. Sémantický ranker je prémiová funkce založená na tokenech; i když se poplatky za řazení během počáteční fáze verze Public Preview vzdávají, budou platit později a měly by se zohlednit do celkových nákladů na vlastnictví.

Před přesunem agentického načítání do produkčního prostředí proveďte další testování, abyste ověřili, že poddotazy a vrácené pasáže jsou vhodné pro zamýšlený případ použití, že latence a náklady splňují vaše cíle na úrovni služby a že podkladová data nezpřístupňují citlivý nebo nevyhovující obsah.

Výkon systému

Stejně jako u jakéhokoli rozsáhlého systému jazykového modelu mohou různí uživatelé dosáhnout různých úsudků ohledně užitečnosti nebo relevance vrácených pasáží, takže výkon musí být definován pružně. U agentičního načítání tím myslíme dobrý výkon, kdy end-to-end aplikace doručuje obsah, který uživatelé očekávají – bez nepřijatelné latence, nákladů nebo škodlivých výstupů.

Účinnost agentického načítání závisí na mnoha faktorech z reálného světa:

• Délka výzvy / historie chatu
• Počet poddotazů vygenerovaných LLM
• Velikost a schéma indexu (klíčové slovo, vektor, hybridní)
• Volba modelu plánování (GPT-4o vs. GPT-4o-mini)
• Sémantické vyhledávání – konfigurace a prahové hodnoty skóre

Osvědčené postupy pro zlepšení výkonu systému

• Pro shrnutí nebo oříznutí starších chatovacích příspěvků pro zachování nízkého počtu tokenů.
• Vylaďte prahovou hodnotu rankeru tak, aby se vrátily pouze vysoce relevantní pasáže.
• Pokud je to možné, použijte filtry.

Vyhodnocení agenturního získávání

Agentní načítání bylo vyhodnoceno prostřednictvím interního testování, včetně automatizovaného a lidského úsudku u více datových sad. Testování zahrnovalo vyhodnocení relevance výsledků agentického vyhledávání ve srovnání pouze s výsledky sémantického řazení.

Metody vyhodnocení

Každá konfigurace vyhledávání pomocí agenta kandidáta, definovaná podnětem plánovače, variantou modelu, počtem poddotazů a prahovými hodnotami řazení, se vyhodnocuje ve srovnání s výrobním standardem. Použijeme sadu metrik relevance, bezpečnosti, latence a nákladů zvolených speciálně pro scénáře načítání více dotazů. Pro zajištění spolehlivosti napříč případy použití v reálném světě se ladění a testování provádí na široké škále veřejných a zákaznických sad dat, které se liší v jazyce, délce dotazu, formátování, stylu a konverzačním tónu. Testovací materiál pochází z:

Zdroje dokumentů:

• Akademické a oborové srovnávací testy
• Zákaznická data (pouze testování, prováděné s oprávněním zákazníka)
• Zdroje dotazů:
• Srovnávací sady dotazů
• Sady dotazů poskytnuté zákazníkem (pouze testování, prováděné s oprávněním zákazníka)
• Syntetické sady dotazů
• Sady dotazů generované člověkem

Zdroje popisků pro páry hodnoticích dotazů a dokumentů:

• Popisky srovnávacích testů pro akademickou a průmyslovou sféru
• Popisky vztahující se k zákazníkům (testování pouze s povolením zákazníka)
• Syntetické popisky dat
• Lidské hodnocení popisků

Vyhodnocení a integrace agentního načítání pro vaše použití

Vzhledem k tomu, že plánovač agentního načítání je trénován z velké části na veřejných datech, kvalita a relevance vygenerovaných poddotazů se bude lišit podle vaší konkrétní domény a specifických uživatelských zadání. Chcete-li maximalizovat výhody agentního vyhledávání ve vašem konkrétním kontextu, zvažte následující kroky:

• Než ho použijete k řízení důležitých obchodních rozhodnutí, ověřte výstup: Ručně zkontrolujte vzorek vygenerovaných poddotazů a vrácených dokumentů a ověřte, že odpovídají požadavkům na terminologii domény, přesnost a dodržování předpisů.
• Poskytněte plánovači informace specifické pro doménu. Zadejte mapy synonym a úplnou historii konverzací, aby LLM mohl parafrázovat a rozkládat dotazy v jazyce, který odpovídá vašemu obsahu, což zlepšuje úplnost a přesnost.
• Implementujte logiku náhradního mechanismu nebo ochranného systému: Pokud plánovač vytváří poddotazy s nízkou spolehlivostí nebo mimo rozsah, nasměrujte požadavek na jednodušší vyhledávání podle klíčových slov nebo vektorů, nebo zobrazte uživateli výzvu k upřesnění, aby se zabránilo dalšímu šíření nespolehlivých odpovědí.