Używanie przepływu pracy Azure Logic Apps do automatycznego indeksowania w usłudze Foundry IQ (Wyszukiwanie AI platformy Azure)

Uwaga / Notatka

Foundry IQ (Wyszukiwanie AI platformy Azure) udostępnia bezpośrednie interfejsy API indeksowania i zapytań, a także interfejsy API wyższego poziomu dla źródeł wiedzy i baz wiedzy do zarządzanego pobierania. Użyj portalu Azure, interfejsów API REST lub Azure SDKs, aby skonfigurować te możliwości lub połączyć agentów z bazami wiedzy w portalu Microsoft Foundry.

Informacje o terminach stosowanych podczas nawiązywania połączenia z zewnętrznymi źródłami danych znajdziesz w sekcji Zewnętrzne źródła danych.

W pliku Foundry IQ (Wyszukiwanie AI platformy Azure) możesz użyć Kreatora importu danych w portalu Azure, aby utworzyć przepływ pracy aplikacji logiki, który indeksuje i wektoryzuje zawartość. Ta funkcja jest równoważna indeksatorowi i źródle danych, który generuje potok indeksowania i tworzy zawartość z możliwością wyszukiwania.

Po utworzeniu przepływu pracy w kreatorze możesz zarządzać przepływem pracy w usłudze Azure Logic Apps wraz z innymi przepływami pracy. Za kulisami kreator podąża za szablonem przepływu pracy, który pobiera (pozyskiwanie) zawartość ze źródła na potrzeby indeksowania w usłudze Foundry IQ. Łączniki używane w tym scenariuszu są wstępnie utworzone i już istnieją w Azure Logic Apps, więc szablon przepływu pracy zawiera tylko szczegóły dla tych łączników, aby tworzyć połączenia ze źródłem danych, znaleziono IQ i innymi elementami wymaganymi do ukończenia przepływu pracy pozyskiwania.

Kluczowe funkcje

Integracja Azure Logic Apps w narzędziu Foundry IQ zapewnia obsługę:

  • Więcej źródeł danych od Microsoft i innych dostawców
  • Wektoryzacja zintegrowana
  • Indeksowanie zaplanowane lub na żądanie
  • Wykrywanie zmian nowych i istniejących dokumentów

Dane wejściowe kreatora danych do importu obejmują:

  • Obsługiwane źródło danych
  • Obsługiwany model osadzania tekstu

Po zakończeniu pracy kreatora masz następujące składniki:

Składnik Lokalizacja Description
Indeks wyszukiwania Znaleziono IQ Zawiera indeksowaną zawartość z obsługiwanego łącznika usługi Logic Apps. Schemat indeksu jest domyślnym indeksem utworzonym przez kreatora. Możesz dodać dodatkowe elementy, takie jak profil oceniania lub konfiguracja semantyczna, ale nie można zmienić istniejących pól. Możesz wyświetlać i uzyskiwać dostęp do indeksu wyszukiwania w usłudze Foundry IQ oraz zarządzać nim.
Zasób aplikacji logiki i przepływ pracy Aplikacje logiki Azure Możesz wyświetlić uruchomiony przepływ pracy lub otworzyć projektanta w Azure Logic Apps, aby edytować przepływ pracy, tak jak w przypadku uruchamiania w Azure Logic Apps. Możesz edytować i rozszerzać przepływ pracy, ale należy zachować ostrożność, aby nie przerywać potoku indeksowania. Przepływ pracy utworzony przez kreatora używa opcji hostingu Zużycie .
Szablony aplikacji logiki Aplikacje logiki Azure Do maksymalnie dwóch szablonów tworzonych na przepływ pracy: jeden do indeksowania na żądanie, a drugi do indeksowania zaplanowanego. Harmonogram indeksowania można zmodyfikować w kroku Indeksowanie wielu dokumentów przepływu pracy.

Wymagania wstępne

  • Musisz być właścicielem lub współautorem w subskrypcji platformy Azure z uprawnieniami do tworzenia zasobów.

  • Wymagana jest usługa Foundry IQ w warstwie cenowej Basic lub wyższej, jeśli chcesz użyć tożsamości usługi Foundry IQ na potrzeby połączeń ze źródłem danych Azure. W przeciwnym razie możesz użyć dowolnej warstwy, z zastrzeżeniem limitów warstw.

  • Azure OpenAI z wdrożeniem obsługiwanego modelu osadzającego. Wektoryzacja jest zintegrowana z przepływem pracy. Jeśli nie potrzebujesz wektorów, możesz zignorować pola lub wypróbować inną strategię indeksowania.

  • Azure Logic Apps w obsługiwanym regionie. Powinna mieć tożsamość zarządzaną przypisaną przez system , jeśli chcesz użyć uwierzytelniania identyfikatora Entra firmy Microsoft na połączeniach, a nie kluczy interfejsu API.

Uwaga / Notatka

Przepływ pracy aplikacji logiki jest zasobem rozliczanym. Aby uzyskać więcej informacji, zobacz Cennik usługi Azure Logic Apps.

Obsługiwane regiony

Funkcje kompleksowe są dostępne w następujących regionach, które zapewniają połączenie ze źródłem danych, pękanie dokumentów, fragmenty dokumentów, obsługę modeli osadzania usługi Azure OpenAI oraz wbudowaną obsługę indeksowania na potrzeby ściągania danych. Następujące regiony usługi Azure Logic Apps udostępniają akcję ParseDocument, która jest podstawą integracji z indeksowaniem.

  • Wschodnie stany USA
  • Wschodnie stany USA 2
  • Południowo-środkowe stany USA
  • Zachodnie stany USA 2
  • Zachodnie stany USA 3
  • Brazylia Południowa
  • Australia Wschodnia
  • Azja Wschodnia
  • Azja Południowo-Wschodnia
  • Europa Północna
  • Szwecja Środkowa
  • Południowe Zjednoczone Królestwo

Obsługiwane modele

Ścieżka aplikacji logiki za pośrednictwem Kreatora importu danych obsługuje wybór modeli osadzania.

Wdróż jeden z następujących modeli osadzania w usłudze Azure OpenAI na potrzeby kompleksowego przepływu pracy.

  • osadzanie-tekstu-3-mniejsze
  • osadzanie tekstu —3 — duże
  • text-embedding-ada-002

Obsługiwane łączniki

Poniższe łączniki są przydatne do indeksowania danych bez struktury, jako uzupełnienie klasycznych indeksatorów, które dotyczą głównie danych ustrukturyzowanych.

Obsługiwane akcje

Integracja aplikacji logiki obejmuje następujące akcje indeksowania. Aby uzyskać więcej informacji, zobacz Connect to Foundry Tools from workflows in Azure Logic Apps (Łączenie z narzędziami Foundry Tools z przepływów pracy w usłudze Azure Logic Apps).

  • Sprawdź, czy nie ma nowych danych.

  • Pobierz dane. Akcja HTTP, która pobiera przekazany dokument przy użyciu adresu URL pliku z danych wyjściowych wyzwalacza.

  • Utwórz szczegóły dokumentu. Operacja danych, która łączy różne elementy.

  • Utwórz ciąg tokenu. Akcja Operacje na danych, która tworzy ciąg tokenu przy użyciu danych wyjściowych akcji Redaguj.

  • Tworzenie fragmentów zawartości. Operacja na danych dzieląca ciąg tokenów na fragmenty na podstawie liczby znaków lub tokenów na fragment zawartości.

  • Konwertowanie tokenizowanych danych na format JSON. Operacja na danych, która konwertuje fragmenty ciągu znaków tokenu na tablicę JSON.

  • Wybierz elementy tablicy JSON. Akcja, która wybiera wiele elementów z tablicy JSON w operacjach na danych.

  • Wygeneruj embedingi. Akcja usługi Azure OpenAI, która tworzy osadzanie dla każdego elementu tablicy JSON.

  • Wybierz embeddingi i inne informacje. Akcja Operacje na danych, która wybiera osadzanie i inne informacje o dokumencie.

  • Indeksowanie danych. Akcja IQ usługi Foundry, która indeksuje dane na podstawie każdego wybranego osadzenia.

Obsługuje również następujące akcje zapytania:

  • Zaczekaj na monit wejściowy. Wyzwalacz, który sonduje lub czeka na nadejście nowych danych, na podstawie zaplanowanego harmonogramu lub w odpowiedzi na określone zdarzenia.

  • Komunikat systemu wejściowego dla modelu. Akcja operacji na danych, która dostarcza dane wejściowe do trenowania modelu.

  • Przykładowe pytania i odpowiedzi związane z danymi wejściowymi. Akcja Operacje na danych, która udostępnia przykładowe pytania klienta i skojarzone role w celu wytrenowania modelu.

  • Komunikat systemu wejściowego dla zapytania wyszukiwania. Akcja Operacje na danych, która udostępnia dane wejściowe zapytania wyszukiwania w celu wytrenowania modelu.

  • Generowanie zapytania wyszukiwania. Akcja kodu wbudowanego, która używa języka JavaScript do utworzenia zapytania wyszukiwania dla sklepu wektorowego na podstawie wyników z poprzednich akcji Compose.

  • Konwertuj zapytanie na embedding. Akcja usługi Azure OpenAI, która łączy się z interfejsem API uzupełniania czatu, która gwarantuje niezawodne odpowiedzi podczas konwersacji na czacie.

  • Pobierz osadzenie. Akcja usługi Azure OpenAI, która pobiera pojedyncze osadzenie wektora.

  • Przeszukaj bazę danych wektorów. Akcja IQ usługi Foundry, która wykonuje wyszukiwania w magazynie wektorów.

  • Utwórz polecenie. Akcja kodu wbudowanego, która używa języka JavaScript do kompilowania monitów.

  • Przeprowadź zakończenie czatu. Akcja usługi Azure OpenAI, która łączy się z interfejsem API uzupełniania czatu, która gwarantuje niezawodne odpowiedzi podczas konwersacji na czacie.

  • Zwróć odpowiedź. Akcja żądania zwracająca wyniki do obiektu wywołującego podczas korzystania z wyzwalacza Żądanie.

Ograniczenia

  • Indeks wyszukiwania jest generowany przy użyciu stałego schematu (identyfikator dokumentu, zawartość i wektoryzowana zawartość) z wyodrębnianiem tekstu. Indeks można modyfikować tak długo, jak aktualizacja nie ma wpływu na istniejące pola.

  • Wektoryzacja obsługuje tylko osadzanie tekstu.

  • Wykrywanie usuwania nie jest obsługiwane. Należy ręcznie usunąć osierocone dokumenty z indeksu.

  • Zduplikowane dokumenty w indeksie wyszukiwania są znanym problemem z tą funkcją. Jeśli ten problem wystąpi, rozważ usunięcie obiektów i rozpoczęcie od początku.

  • Brak obsługi prywatnych punktów końcowych w przepływie pracy aplikacji Logic Apps utworzonym przy użyciu kreatora portalu. Przepływ pracy jest hostowany przy użyciu opcji hostingu Zużycie i podlega ograniczeniom. Aby użyć opcji hostingu Standard, użyj podejścia programistycznego do tworzenia przepływu pracy.

Tworzenie przepływu pracy w aplikacji logicznej

Wykonaj następujące kroki, aby utworzyć przepływ pracy usługi Logic Apps na potrzeby indeksowania zawartości w usłudze Foundry IQ.

  1. Uruchom kreatora Importuj dane w witrynie Azure Portal.

  2. Wybierz obsługiwany łącznik usługi Azure Logic Apps.

    Zrzut ekranu przedstawiający wybraną stronę źródła danych w kreatorze importu danych.

  3. W sekcji Połącz z danymi podaj prefiks nazwy, który jest używany do indeksu wyszukiwania i przepływu pracy. Posiadanie nazwy pospolitej ułatwia zarządzanie nimi razem.

  4. Określ częstotliwość indeksowania. Jeśli wybierzesz harmonogram, szablon zawierający opcję planowania zostanie użyty do utworzenia przepływu pracy. Harmonogram indeksowania można zmodyfikować w kroku Indeksowanie wielu dokumentów przepływu pracy po jego utworzeniu.

  5. Wybierz typ uwierzytelniania, dla którego przepływ pracy aplikacji logiki łączy się z wyszukiwarką i uruchamia proces indeksowania. Przepływ pracy może łączyć się przy użyciu kluczy interfejsu API IQ usługi Foundry lub kreator może utworzyć przypisanie roli, które przyznaje uprawnienia tożsamości zarządzanej przypisanej przez system usługi Logic Apps, przy założeniu, że istnieje.

  6. Wybierz przycisk Dalej , aby przejść do następnej strony.

  7. W Wektoryzuj swój tekst podaj informacje dotyczące wdrożenia modelu i połączenia z usługą Azure OpenAI. Wybierz subskrypcję i usługę, obsługiwany model osadzania tekstu oraz typ uwierzytelniania używany przez przepływ pracy do nawiązywania połączenia z usługą Azure OpenAI.

  8. Wybierz przycisk Dalej , aby przejść do następnej strony. Przejrzyj konfigurację.

  9. Wybierz pozycję Utwórz , aby rozpocząć przetwarzanie.

    Przepływ pracy jest uruchamiany jako bezserwerowy przepływ pracy w usłudze Logic Apps (Consumption), niezależnie od usługi Foundry IQ.

  10. Potwierdź tworzenie indeksu w portalu Azure na stronie Indeksy w usłudze Foundry IQ. Eksplorator wyszukiwania jest pierwszą kartą. Wybierz pozycję Wyszukaj , aby zwrócić część zawartości.

Modyfikowanie istniejących obiektów

Następujące modyfikacje indeksu wyszukiwania można wprowadzić bez przerywania indeksowania:

Następujące aktualizacje przepływu pracy można wprowadzić bez przerywania indeksowania:

  • Zmodyfikuj pliki listy w folderze , aby zmienić liczbę dokumentów wysyłanych do indeksowania.
  • Zmodyfikuj tekst fragmentu , aby zmieniać dane wejściowe tokenu. Zalecany rozmiar tokenu to 512 tokenów w większości scenariuszy.
  • Zmodyfikuj tekst fragmentu , aby dodać długość nakładających się stron.
  • Modyfikowanie kroku Indeksowanie wielu dokumentów w celu kontrolowania częstotliwości indeksowania w przypadku wybrania zaplanowanego indeksowania w kreatorze.

W projektancie aplikacji logicznych przejrzyj każdy krok w potoku indeksowania oraz przepływ pracy. Przepływ pracy określa wyodrębnianie dokumentów, domyślne fragmentowanie dokumentu (umiejętność dzielenia tekstu), osadzanie (umiejętność osadzania w usłudze Azure OpenAI), mapowania pól wyjściowych i na koniec indeksowanie.

Zrzut ekranu przedstawiający przepływ pracy w projektancie aplikacji logiki.

Zarządzanie szablonami i przepływami pracy

Kreator tworzy szablony i przepływy pracy podczas określania indeksatora usługi Logic Apps. Aby je utworzyć i nimi zarządzać, w tym także usunięcie szablonu, użyj projektanta aplikacji Logic Apps. Pulpit nawigacyjny usługi Foundry IQ w portalu Azure nie zapewnia zarządzania szablonami ani przepływami pracy, a obecnie nie ma obsługi programowej w interfejsach API Foundry IQ.