Multimodal sökning i Azure AI-sökning

Multimodal sökning syftar på möjligheten att mata in, förstå och hämta information över flera innehållstyper, inklusive text, bilder, video och ljud. I Azure AI-sökning stöder multimodal sökning internt inmatning av dokument som innehåller text och bilder och hämtning av deras innehåll, så att du kan utföra sökningar som kombinerar båda metoderna.

Att skapa en robust multimodal pipeline omfattar vanligtvis:

1. Extrahera infogade bilder och sidtext från dokument.

2. Beskriva bilder på naturligt språk.

3. Bädda in både text och bilder i ett delat vektorutrymme.

4. Lagra avbildningarna för senare användning som anteckningar.

Multimodal sökning kräver också att informationen bevaras så som den visas i dokumenten och köra hybridfrågor som kombinerar fulltextsökning med vektorsökning och semantisk rangordning.

I praktiken kan ett program som använder multimodal sökning besvara frågor som "Vad är processen för att få ett HR-formulär godkänt?" även när den enda auktoritativa beskrivningen av processen finns i ett inbäddat diagram i en PDF-fil.

Varför ska du använda multimodal sökning?

Traditionellt kräver multimodal sökning separata system för text- och bildbearbetning, vilket ofta kräver anpassad kod och konfigurationer på låg nivå från utvecklare. Att underhålla dessa system medför högre kostnader, komplexitet och arbete.

Azure AI-sökning hanterar dessa utmaningar genom att integrera bilder i samma hämtningspipeline som text. Med en enda multimodal pipeline kan du förenkla konfigurationen och låsa upp information som finns i diagram, skärmbilder, informationsgrafik, skannade formulär och andra komplexa visuella objekt.

Multimodal sökning är idealisk för retrieval-augmented generation (RAG)-scenarier. Genom att tolka den strukturella logiken i bilder gör multimodal sökning att ditt RAG-program eller AI-agenten mindre sannolikt förbiser viktig visuell information. Det ger också användarna detaljerade svar som kan spåras tillbaka till deras ursprungliga källor, oavsett källans modalitet.

Hur fungerar multimodal sökning?

För att förenkla skapandet av en multimodal pipeline erbjuder Azure AI-sökning guiden Importera data i Azure-portalen. Guiden hjälper dig att konfigurera en datakälla, definiera extraherings- och berikningsinställningar och generera ett multimodalt index som innehåller text, inbäddade bildreferenser och vektorinbäddningar. Mer information finns i Quickstart: Multimodal search i Azure-portalen.

Guiden följer dessa steg för att skapa en multimodal pipeline:

1. Extrahera innehåll: Välj mellan Document Extraction skill och Azure Content Understanding skill för att hämta sidtext, infogade bilder och strukturella metadata. Varje färdighet erbjuder olika funktioner för extrahering av metadata, tabellhantering och stöd för filformat. Detaljerade jämförelser finns i Alternativ för extrahering av multimodalt innehåll.

2. Textstycke:Färdigheten Textdelning delar upp den extraherade texten i hanterbara segment för användning i den återstående pipelinen, till exempel inbäddningsfunktionen.

3. Generera bildbeskrivningar:GenAI Prompt-färdigheten verbaliserar bilder och skapar kortfattade beskrivningar av naturligt språk för textsökning och inbäddning med hjälp av en stor språkmodell (LLM).

4. Generera inbäddningar: Inbäddningsfärdigheten skapar vektorrepresentationer av text och bilder, vilket möjliggör likhet och hybridhämtning. Du kan anropa Azure OpenAI-, Microsoft Foundry- eller Azure Vision (förhandsversion)-inbäddningsmodeller direkt.

   Du kan också hoppa över bildverualisering och skicka extraherad text och bilder direkt till en multimodal inbäddningsmodell via AML eller Azure Vision multimodal embeddings skill. Mer information finns i Alternativ för inbäddning av multimodalt innehåll.

5. Lagra extraherade avbildningar:Kunskapsarkivet innehåller extraherade avbildningar som kan returneras direkt till klientprogram. När du använder guiden lagras en bilds plats direkt i det multimodala indexet, vilket möjliggör praktisk hämtning vid frågetillfället.

Alternativ för extrahering av multimodalt innehåll

En multimodal pipeline börjar med att dela upp varje källdokument i textsegment, infogade bilder och associerade metadata. I det här steget tillhandahåller Azure AI-sökning två rekommenderade inbyggda kunskaper:

• Kunskap om dokumentextrahering
• Azure Content Understanding-färdighet

Kunskaper om dokumentlayout stöds fortfarande för befintliga pipelines. För nya kompetensuppsättningar använder du kunskapen Azure Content Understanding, som kombinerar extrahering av innehåll och segmentering i en enda färdighet och stöder semantisk segmentering, AI-genererade bildbeskrivningar och extrahering av korssidiga tabeller.

Alternativ för inbäddning av multimodalt innehåll

I Azure AI-sökning kan hämtning av kunskap från bilder följa två kompletterande sökvägar: verbalisering av bilder eller direktinbäddningar. Genom att förstå skillnaderna kan du anpassa kostnad, svarstid och svarskvalitet till programmets behov.

Verbalisering av bilder följt av textinbäddningar

Med den här metoden anropar GenAI Prompt skill en LLM under inmatning för att skapa en kortfattad beskrivning av varje extraherad bild på naturligt språk. till exempel "Arbetsflöde för femstegs HR-åtkomst som börjar med godkännande av chef." Beskrivningen lagras som text och bäddas in tillsammans med den omgivande dokumenttexten, som du sedan kan vektorisera genom att anropa Azure OpenAI, Microsoft Foundry eller Azure Vision inbäddningsmodeller.

Eftersom bilden nu uttrycks på språk kan Azure AI-sökning:

• Tolka de relationer och entiteter som visas i ett diagram.

• Ange färdiga undertexter som en LLM kan citera ordagrant i ett svar.

• Returnera relevanta kodfragment för RAG-program eller AI-agentscenarier med jordade data.

Det extra semantiska djupet innebär ett LLM-anrop för varje bild och en marginell ökning av indexeringstiden.

Direkt multimodala inbäddningar

Ett andra alternativ är att skicka dokumentextraherade bilder och text till en multimodal inbäddningsmodell som producerar vektorrepresentationer i samma vektorutrymme. Konfigurationen är enkel och ingen LLM krävs vid indexeringstiden. Direkt inbäddningar passar bra för visuella likheter och "hitta-något-som-ser-ut-så-här"-scenarier.

Eftersom representationen är rent matematisk förmedlar den inte varför två bilder är relaterade, och den erbjuder inte LLM-redo kontext för citat eller detaljerade förklaringar.

Kombinera båda metoderna

Många lösningar behöver båda kodningsvägarna. Diagram, flödesdiagram och andra förklaringsrika visuella objekt verbaliseras så att semantisk information är tillgänglig för RAG- och AI-agenternas fundament. Skärmbilder, produktfoton eller konstverk bäddas in direkt för effektiv likhetssökning. Du kan anpassa pipelinen för Azure AI-sökning index och indexerare så att den kan lagra de två uppsättningarna vektorer och hämta dem sida vid sida.

Alternativ för att utföra frågor på multimodalt innehåll

Om din multimodala pipeline drivs av GenAI Prompt-färdigheten kan du köra hybridfrågor över både oformaterad text och verbaliserade bilder i ditt sökindex. Du kan också använda filter för att begränsa sökresultaten till specifika innehållstyper, till exempel endast text eller endast bilder.

Även om GenAI Prompt-färdigheten stöder text-till-vektorfrågor via hybridsökning stöder den inte bild-till-vektorfrågor. Endast de multimodala inbäddningsmodellerna tillhandahåller de vektoriserare som konverterar bilder till vektorer vid frågetillfället.

Om du vill använda bilder som frågeindata för ditt multimodala index måste du använda kunskapen AML eller Azure Vision multimodal embeddings med en motsvarande vektoriserare. Mer information finns i Konfigurera en vektoriserare i ett sökindex.

Självstudier och exempel

Här är en samling innehåll som visar hur du skapar och optimerar multimodala index med hjälp av Azure funktioner för att komma igång med multimodal sökning i Azure AI-sökning.