Snabbstart: Multimodal sökning i Azure-portalen

I den här snabbstarten använder du guiden Importera data i Azure-portalen för att komma igång med multimodal sökning. Guiden förenklar processen med att extrahera, segmentera, vektorisera och läsa in både text och bilder i ett sökbart index.

Den här snabbstarten använder en multimodal PDF från lagringsplatsen azure-search-sample-data. Du kan dock använda olika filer och ändå slutföra den här snabbstarten.

Prerequisites

• Ett Azure konto med en aktiv prenumeration. Skapa ett konto kostnadsfritt.

• En Azure AI-sökning-tjänst. Den här snabbstarten kräver basic-nivån eller högre för stöd för hanterad identitet.

• Ett Azure Storage konto. Använd Azure Blob Storage eller Azure Data Lake Storage Gen2 (lagringskonto med ett hierarkiskt namnområde) på ett standardkonto för prestanda (generell användning v2). Åtkomstnivåerna kan vara heta, coola eller kalla.

• En extraheringsmetod som stöds.

• En inbäddningsmetod som stöds.

• Kännedom om guiden. Se Guiden Importera data i Azure-portalen.

Extraheringsmetoder som stöds

För extrahering av innehåll väljer du antingen standardextrahering via Azure AI-sökning eller utökad extrahering via Azure Dokumentinformation i Foundry Tools.

¹ För faktureringsändamål måste du ansluta ditt multitjänstkonto till din Azure AI-sökning kompetensuppsättning. Guiden kräver att söktjänsten och multitjänstkontot finns i samma region som stöds för dokumentlayouten.

Inbäddningsmetoder som stöds

För inbäddning av innehåll väljer du någon av följande metoder:

• Bild verbalisering: Använder en LLM för att generera beskrivningar av bilder på naturligt språk och använder sedan en inbäddningsmodell för att vektorisera oformaterad text och verbaliserade bilder.

• Multimodala inbäddningar: Använder en inbäddningsmodell för att direkt vektorisera både text och bilder.

Portalen stöder följande modeller för varje metod. Distributionsinstruktioner finns i ett senare avsnitt.

¹ För faktureringsändamål måste du ansluta ditt multitjänstkonto till din Azure AI-sökning kompetensuppsättning. Guiden kräver att söktjänsten och multitjänstkontot finns i samma region som stöds för Azure Vision multimodala inbäddningsfärdighet (förhandsversion).

² Guiden stöder endast serverlösa API-distributioner för den här modellen. Du kan använda Azure CLI för att etablera den serverlösa distributionen (förhandsversion).

³ Slutpunkten för din Azure OpenAI-resurs måste ha en anpassad underdomän, till exempel https://my-unique-name.openai.azure.com. Om du skapade resursen i Azure-portalen genererades den här underdomänen automatiskt under resurskonfigurationen.

⁴ Azure OpenAI-resurser (med åtkomst till inbäddningsmodeller) som skapades i Microsoft Foundry-portalen stöds inte. Du måste skapa en Azure OpenAI-resurs i Azure-portalen.

För den senaste vägledningen om modellens livscykel, inklusive utfasningar, se Modellers utfasning och avveckling.

Krav för offentlig slutpunkt

Alla föregående resurser måste ha offentlig åtkomst aktiverad så att guiden kan komma åt dem. Annars misslyckas guiden. När guiden har körts kan du aktivera brandväggar och privata slutpunkter på integreringskomponenterna för säkerhet. Mer information finns i Säkra anslutningar i importguiden.

Om privata slutpunkter redan finns och du inte kan inaktivera dem är alternativet att köra respektive flöde från slutpunkt till slutpunkt från ett skript eller program på en virtuell dator. Den virtuella datorn måste finnas i samma virtuella nätverk som den privata slutpunkten. Here är ett Python kodexempel för integrerad vektorisering. Samma GitHub lagringsplats har exempel på andra programmeringsspråk.

Konfigurera åtkomst

Kontrollera att du har behörighet att komma åt innehåll och åtgärder innan du börjar. Den här snabbstarten använder Microsoft Entra ID för autentisering och rollbaserad åtkomst för auktorisering. Du måste vara ägare eller administratör för användaråtkomst för att tilldela roller. Om roller inte är genomförbara använder du nyckelbaserad autentisering i stället.

Konfigurera nödvändiga roller och villkorsroller som identifieras i det här avsnittet.

Roller som krävs

Azure AI-sökning och Azure Storage krävs för alla scenarier med multimodala sökningar.

Villkorsstyrda roller

Följande flikar omfattar guidekompatibla resurser för multimodal sökning. Välj bara de flikar som gäller för den valda extraheringsmetoden och inbäddningsmetoden.

Förbereda exempeldata

Den här snabbstarten använder ett exempel på multimodal PDF, men du kan också använda dina egna filer. Om du använder en kostnadsfri söktjänst använder du färre än 20 filer för att hålla dig inom den kostnadsfria kvoten för berikningsbearbetning.

Så här förbereder du exempeldata för den här snabbstarten:

1. Gå till ditt Azure Storage-konto i Azure-portalen.

2. I den vänstra rutan väljer duDatalagringscontainrar>.

3. Skapa en container och ladda sedan upp sampel-PDF till containern.

4. Skapa en annan container för att lagra avbildningar som extraherats från PDF-filen.

Förbereda modeller

Guiden erbjuder flera alternativ för inbäddning av innehåll. Verbalisering av bilder kräver en LLM för att beskriva bilder och en inbäddningsmodell för att vektorisera text- och bildinnehåll, medan direkta multimodala inbäddningar bara kräver en inbäddningsmodell. Dessa modeller är tillgängliga via Azure OpenAI och Foundry.

Information om hur du distribuerar de modeller som krävs för den valda inbäddningsmetoden finns i Distribuera Microsoft Foundry-modeller i Foundry-portalen.

Starta guiden

1. Gå till söktjänsten i Azure-portalen.

2. På sidan Översikt väljer du Importera data.

   

3. Välj din datakälla: Azure Blob Storage eller Azure Data Lake Storage Gen2.

   

4. Välj Multimodal RAG.

   

Kör guiden

Guiden vägleder dig genom flera konfigurationssteg. Det här avsnittet beskriver varje steg i följd.

Anslut till dina data

Azure AI-sökning kräver en anslutning till en datakälla för innehållsinmatning och indexering. I det här fallet är datakällan ditt Azure Storage konto.

Så här ansluter du till dina data:

1. På sidan Anslut till dina data väljer du din Azure prenumeration.

2. Välj det lagringskonto och den container som du laddade upp exempeldata till.

3. Markera kryssrutan Autentisera med hanterad identitet . Lämna identitetstypen som Systemtilldelad.

   

4. Klicka på Nästa.

Extrahera ditt innehåll

Beroende på din valda extraheringsmetod tillhandahåller guiden konfigurationsalternativ för dokumentsprickor och segmentering.

Bädda in ditt innehåll

I det här steget använder guiden den valda inbäddningsmetoden för att generera vektorrepresentationer av både text och bilder.

Lagra de extraherade bilderna

Nästa steg är att skicka bilder som extraherats från dina dokument till Azure Storage. I Azure AI-sökning kallas den här sekundära lagringen för ett knowledge-arkiv.

Så här lagrar du de extraherade bilderna:

1. På sidan Image-utdata väljer du din Azure prenumeration.

2. Välj lagringskontot och blobcontainern som du skapade för att lagra avbildningarna.

3. Markera kryssrutan Autentisera med hanterad identitet . Lämna identitetstypen som Systemtilldelad.

   

4. Klicka på Nästa.

Lägg till semantisk rangordning

På sidan Avancerade inställningar kan du lägga till semantisk rangordning för att rangordna om resultaten i slutet av frågekörningen. Reranking höjer de mest semantiskt relevanta matcherna till toppen.

Mappa nya fält

På sidan Avancerade inställningar kan du lägga till fält i indexschemat. Som standard genererar guiden de fält som beskrivs i följande tabell.

Du kan inte ändra de genererade fälten eller deras attribut, men du kan lägga till fält om datakällan tillhandahåller dem. Azure Blob Storage innehåller till exempel en samling metadatafält.

Så här lägger du till fält i indexschemat:

1. Under Indexfält väljer du Förhandsgranska och redigera.

2. Välj Lägg till fält.

3. Välj ett källfält från de tillgängliga fälten, ange ett fältnamn för indexet och acceptera (eller åsidosätt) standarddatatypen.

4. Om du vill återställa schemat till den ursprungliga versionen väljer du Återställ.

Viktiga punkter om det här steget:

• Indexschemat innehåller vektor- och icke-vektorfält för segmenterade data.

• Dokumentparsningsläget skapar segment (ett sökdokument per segment).

Schemalägg indexering

För datakällor där underliggande data är flyktiga kan du schemalägga indexering för att samla in ändringar med specifika intervall eller specifika datum och tider.

Så här schemalägger du indexering:

1. På sidan Avancerade inställningar under Schemalägg indexering anger du ett körningsschema för indexeraren. Vi rekommenderar En gång för den här snabbstarten.

   

2. Klicka på Nästa.

Slutför guiden

Det sista steget är att granska konfigurationen och skapa nödvändiga objekt för multimodal sökning. Om det behövs går du tillbaka till föregående sidor i guiden för att justera konfigurationen.

Slutför guiden:

1. På sidan Granska och skapa anger du ett prefix för de objekt som guiden ska skapa. Ett vanligt prefix hjälper dig att hålla ordning.

   

2. Välj Skapa.

Guideskapade objekt

När guiden har slutfört konfigurationen skapas följande objekt:

Kontrollera resultat

Den här snabbstarten skapar ett multimodalt index som stöder hybridsökning över både text och bilder. Om du inte använder direkta multimodala inbäddningar accepterar indexet inte bilder som frågeindata, vilket kräver AML-färdighet eller Azure Vision multimodal inbäddningsfärdighet med en motsvarande vektoriserare. Mer information finns i Konfigurera en vektoriserare i ett sökindex.

Hybridsökning kombinerar fulltextfrågor och vektorfrågor. När du utfärdar en hybridfråga beräknar sökmotorn den semantiska likheten mellan din fråga och de indexerade vektorerna och rangordnar resultatet därefter. För indexet som skapades i den här snabbstarten visar resultatet innehåll från det content_text fält som ligger nära din fråga.

Så här frågar du ditt multimodala index:

1. Gå till söktjänsten i Azure-portalen.

2. I den vänstra rutan väljer du Sökhanteringsindex>.

3. Välj ditt index.

4. Välj Frågealternativ och välj sedan Dölj vektorvärden i sökresultat. Det här steget gör resultatet mer läsbart.

   

5. Ange text som du vill söka efter. Vårt exempel använder energy.

6. Om du vill köra frågan väljer du Sök.

   

   JSON-resultaten bör innehålla text- och bildinnehåll som är relaterat till energy i ditt index. Om du har aktiverat semantisk rankning ger matrisen @search.answers koncisa semantiska svar med hög konfidens som hjälper dig att snabbt identifiera relevanta matchningar.

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

Rensa resurser

När du arbetar i din egen prenumeration är det en bra idé att slutföra ett projekt genom att ta bort de resurser som du inte längre behöver. Resurser som lämnas igång kan kosta dig pengar.

I Azure-portalen väljer du Alla resurser eller Resource-grupper i den vänstra rutan för att hitta och hantera resurser. Du kan ta bort resurser individuellt eller ta bort resursgruppen för att ta bort alla resurser samtidigt.

Nästa steg

Den här snabbstarten introducerade dig i guiden Importera data , som skapar alla nödvändiga objekt för multimodal sökning. För att utforska varje steg i detalj, se självstudien om multimodalitet.