Używanie przepływu pracy usługi Azure Logic Apps do automatycznego indeksowania w usłudze Wyszukiwanie AI platformy Azure

W usłudze Wyszukiwanie AI platformy Azure możesz użyć Kreatora importu danych w portalu Azure, aby utworzyć przepływ pracy aplikacji logicznej, który indeksuje i wektoryzuje zawartość. Ta funkcja jest równoważna indeksatorowi i źródle danych, który generuje potok indeksowania i tworzy zawartość z możliwością wyszukiwania.

Po utworzeniu przepływu pracy w kreatorze możesz zarządzać przepływem pracy w usłudze Azure Logic Apps wraz z innymi przepływami pracy. W tle kreator korzysta z szablonu przepływu pracy, który pobiera (importuje) zawartość ze źródła na potrzeby indeksowania w usłudze Wyszukiwanie AI platformy Azure. Łączniki używane w tym scenariuszu są gotowe i są już dostępne w usłudze Azure Logic Apps, więc szablon przepływu pracy udostępnia jedynie szczegóły potrzebne do utworzenia połączeń ze źródłem danych, usługą Wyszukiwanie AI platformy Azure i innymi elementami wymaganymi do ukończenia przepływu pracy pozyskiwania danych.

Kluczowe funkcje

Integracja usługi Azure Logic Apps w usłudze Wyszukiwanie AI platformy Azure dodaje obsługę:

• Więcej źródeł danych od firmy Microsoft i innych dostawców
• Wektoryzacja zintegrowana
• Indeksowanie zaplanowane lub na żądanie
• Wykrywanie zmian nowych i istniejących dokumentów

Dane wejściowe kreatora danych do importu obejmują:

• Obsługiwane źródło danych
• Obsługiwany model osadzania tekstu

Po zakończeniu pracy kreatora masz następujące składniki:

Wymagania wstępne

• Musisz być właścicielem lub współautorem w subskrypcji platformy Azure z uprawnieniami do tworzenia zasobów.

• Wyszukiwanie AI platformy Azure, warstwa cenowa Podstawowa lub nowsza, jeśli chcesz użyć tożsamości usługi wyszukiwania na potrzeby połączeń ze źródłem danych Azure. W przeciwnym razie możesz użyć dowolnej warstwy, z zastrzeżeniem limitów warstw.

• Azure OpenAI z wdrożeniem obsługiwanego modelu osadzającego. Wektoryzacja jest zintegrowana z przepływem pracy. Jeśli nie potrzebujesz wektorów, możesz zignorować pola lub wypróbować inną strategię indeksowania.

• Azure Logic Apps w obsługiwanym regionie. Powinna mieć tożsamość zarządzaną przypisaną przez system , jeśli chcesz użyć uwierzytelniania identyfikatora Entra firmy Microsoft na połączeniach, a nie kluczy interfejsu API.

Obsługiwane regiony

Funkcje kompleksowe są dostępne w następujących regionach, które zapewniają połączenie ze źródłem danych, pękanie dokumentów, fragmenty dokumentów, obsługę modeli osadzania usługi Azure OpenAI oraz wbudowaną obsługę indeksowania na potrzeby ściągania danych. Następujące regiony usługi Azure Logic Apps udostępniają akcję ParseDocument, która jest podstawą integracji z indeksowaniem.

• Wschodnie stany USA
• Wschodnie stany USA 2
• Południowo-środkowe stany USA
• Zachodnie stany USA 2
• Zachodnie stany USA 3
• Brazylia Południowa
• Australia Wschodnia
• Azja Wschodnia
• Azja Południowo-Wschodnia
• Europa Północna
• Szwecja Środkowa
• Południowe Zjednoczone Królestwo

Obsługiwane modele

Ścieżka aplikacji logiki za pośrednictwem Kreatora importu danych obsługuje wybór modeli osadzania.

Wdróż jeden z następujących modeli osadzania w usłudze Azure OpenAI na potrzeby kompleksowego przepływu pracy.

• osadzanie-tekstu-3-mniejsze
• osadzanie tekstu —3 — duże
• text-embedding-ada-002

Obsługiwane łączniki

Poniższe łączniki są przydatne do indeksowania danych bez struktury, jako uzupełnienie klasycznych indeksatorów, które dotyczą głównie danych ustrukturyzowanych.

• SharePoint
• OneDrive
• OneDrive dla Firm
• Azure File Storage
• Kolejki platformy Azure
• Magistrala usług

Obsługiwane akcje

Integracja aplikacji logiki obejmuje następujące akcje indeksowania. Aby uzyskać więcej informacji, zobacz Connect to Foundry Tools from workflows in Azure Logic Apps (Łączenie z narzędziami Foundry Tools z przepływów pracy w usłudze Azure Logic Apps).

• Sprawdź, czy nie ma nowych danych.

• Pobierz dane. Akcja HTTP, która pobiera przekazany dokument przy użyciu adresu URL pliku z danych wyjściowych wyzwalacza.

• Utwórz szczegóły dokumentu. Operacja danych, która łączy różne elementy.

• Utwórz ciąg tokenu. Akcja Operacje na danych, która tworzy ciąg tokenu przy użyciu danych wyjściowych akcji Redaguj.

• Tworzenie fragmentów zawartości. Operacja na danych dzieląca ciąg tokenów na fragmenty na podstawie liczby znaków lub tokenów na fragment zawartości.

• Konwertowanie tokenizowanych danych na format JSON. Operacja na danych, która konwertuje fragmenty ciągu znaków tokenu na tablicę JSON.

• Wybierz elementy tablicy JSON. Akcja, która wybiera wiele elementów z tablicy JSON w operacjach na danych.

• Wygeneruj embedingi. Akcja usługi Azure OpenAI, która tworzy osadzanie dla każdego elementu tablicy JSON.

• Wybierz embeddingi i inne informacje. Akcja Operacje na danych, która wybiera osadzanie i inne informacje o dokumencie.

• Indeksowanie danych. Akcja usługi Wyszukiwanie AI platformy Azure, która indeksuje dane na podstawie każdego wybranego osadzania.

Obsługuje również następujące akcje zapytania:

• Zaczekaj na monit wejściowy. Wyzwalacz, który sonduje lub czeka na nadejście nowych danych, na podstawie zaplanowanego harmonogramu lub w odpowiedzi na określone zdarzenia.

• Komunikat systemu wejściowego dla modelu. Akcja operacji na danych, która dostarcza dane wejściowe do trenowania modelu.

• Przykładowe pytania i odpowiedzi związane z danymi wejściowymi. Akcja Operacje na danych, która udostępnia przykładowe pytania klienta i skojarzone role w celu wytrenowania modelu.

• Komunikat systemu wejściowego dla zapytania wyszukiwania. Akcja Operacje na danych, która udostępnia dane wejściowe zapytania wyszukiwania w celu wytrenowania modelu.

• Generowanie zapytania wyszukiwania. Akcja kodu wbudowanego, która używa języka JavaScript do utworzenia zapytania wyszukiwania dla sklepu wektorowego na podstawie wyników z poprzednich akcji Compose.

• Konwertuj zapytanie na embedding. Akcja usługi Azure OpenAI, która łączy się z interfejsem API uzupełniania czatu, która gwarantuje niezawodne odpowiedzi podczas konwersacji na czacie.

• Pobierz osadzenie. Akcja usługi Azure OpenAI, która pobiera pojedyncze osadzenie wektora.

• Przeszukaj bazę danych wektorów. Akcja usługi Wyszukiwanie AI platformy Azure, która wykonuje wyszukiwania w składnicy wektorów.

• Utwórz polecenie. Akcja kodu wbudowanego, która używa języka JavaScript do kompilowania monitów.

• Przeprowadź zakończenie czatu. Akcja usługi Azure OpenAI, która łączy się z interfejsem API uzupełniania czatu, która gwarantuje niezawodne odpowiedzi podczas konwersacji na czacie.

• Zwróć odpowiedź. Akcja żądania zwracająca wyniki do obiektu wywołującego podczas korzystania z wyzwalacza Żądanie.

Ograniczenia

• Indeks wyszukiwania jest generowany przy użyciu stałego schematu (identyfikator dokumentu, zawartość i wektoryzowana zawartość) z wyodrębnianiem tekstu. Indeks można modyfikować tak długo, jak aktualizacja nie ma wpływu na istniejące pola.

• Wektoryzacja obsługuje tylko osadzanie tekstu.

• Wykrywanie usuwania nie jest obsługiwane. Należy ręcznie usunąć osierocone dokumenty z indeksu.

• Zduplikowane dokumenty w indeksie wyszukiwania są znanym problemem z tą funkcją. Jeśli ten problem wystąpi, rozważ usunięcie obiektów i rozpoczęcie od początku.

• Brak obsługi prywatnych punktów końcowych w przepływie pracy aplikacji Logic Apps utworzonym przy użyciu kreatora portalu. Przepływ pracy jest hostowany przy użyciu opcji hostingu Zużycie i podlega ograniczeniom. Aby użyć opcji hostingu Standard, użyj podejścia programistycznego do tworzenia przepływu pracy.

Tworzenie przepływu pracy w aplikacji logicznej

Wykonaj następujące kroki, aby utworzyć przepływ pracy aplikacji logiki na potrzeby indeksowania zawartości w usłudze Wyszukiwanie AI platformy Azure.

1. Uruchom kreatora Importuj dane w witrynie Azure Portal.

2. Wybierz obsługiwany łącznik usługi Azure Logic Apps.

   

3. W sekcji Połącz z danymi podaj prefiks nazwy, który jest używany do indeksu wyszukiwania i przepływu pracy. Posiadanie nazwy pospolitej ułatwia zarządzanie nimi razem.

4. Określ częstotliwość indeksowania. Jeśli wybierzesz harmonogram, szablon zawierający opcję planowania zostanie użyty do utworzenia przepływu pracy. Harmonogram indeksowania można zmodyfikować w kroku Indeksowanie wielu dokumentów przepływu pracy po jego utworzeniu.

5. Wybierz typ uwierzytelniania, dla którego przepływ pracy aplikacji logiki łączy się z wyszukiwarką i uruchamia proces indeksowania. Przepływ pracy może łączyć się przy użyciu kluczy interfejsu API usługi Wyszukiwanie AI platformy Azure lub kreator może utworzyć przypisanie roli, które przyznaje uprawnienia tożsamości zarządzanej przypisanej przez system usługi Logic Apps, o ile taka istnieje.

6. Wybierz przycisk Dalej , aby przejść do następnej strony.

7. W Wektoryzuj swój tekst podaj informacje dotyczące wdrożenia modelu i połączenia z usługą Azure OpenAI. Wybierz subskrypcję i usługę, obsługiwany model osadzania tekstu oraz typ uwierzytelniania używany przez przepływ pracy do nawiązywania połączenia z usługą Azure OpenAI.

8. Wybierz przycisk Dalej , aby przejść do następnej strony. Przejrzyj konfigurację.

9. Wybierz pozycję Utwórz , aby rozpocząć przetwarzanie.

   Przepływ pracy jest uruchamiany jako bezserwerowy przepływ pracy w usłudze Logic Apps (Zużycie), niezależnie od usługi wyszukiwania sztucznej inteligencji.

10. Sprawdź utworzenie indeksu w portalu Azure na stronie Indeksy w Wyszukiwanie AI platformy Azure. Eksplorator wyszukiwania jest pierwszą kartą. Wybierz Wyszukaj, aby wyświetlić zawartość.

Modyfikowanie istniejących obiektów

Następujące modyfikacje indeksu wyszukiwania można wprowadzić bez przerywania indeksowania:

• Dodawanie profilów oceniania
• Dodawanie klasyfikacji semantycznej
• Dodawanie sprawdzania pisowni (wersja zapoznawcza)
• Dodawanie map synonimów
• Dodawanie sugestorów

Następujące aktualizacje przepływu pracy można wprowadzić bez przerywania indeksowania:

• Zmodyfikuj pliki listy w folderze , aby zmienić liczbę dokumentów wysyłanych do indeksowania.
• Zmodyfikuj tekst fragmentu , aby zmieniać dane wejściowe tokenu. Zalecany rozmiar tokenu to 512 tokenów w większości scenariuszy.
• Zmodyfikuj tekst fragmentu , aby dodać długość nakładających się stron.
• Modyfikowanie kroku Indeksowanie wielu dokumentów w celu kontrolowania częstotliwości indeksowania w przypadku wybrania zaplanowanego indeksowania w kreatorze.

W projektancie aplikacji logicznych przejrzyj każdy krok w potoku indeksowania oraz przepływ pracy. Przepływ pracy określa wyodrębnianie dokumentów, domyślne fragmentowanie dokumentu (umiejętność dzielenia tekstu), osadzanie (umiejętność osadzania w usłudze Azure OpenAI), mapowania pól wyjściowych i na koniec indeksowanie.

Zarządzanie szablonami i przepływami pracy

Kreator tworzy szablony i przepływy pracy podczas określania indeksatora usługi Logic Apps. Aby je utworzyć i nimi zarządzać, w tym także usunięcie szablonu, użyj projektanta aplikacji Logic Apps. Panel sterowania usługi wyszukiwania Azure Portal nie zapewnia zarządzania szablonami ani przepływami pracy, a obecnie nie ma wsparcia programistycznego w interfejsach API usługi Wyszukiwanie AI platformy Azure.

Treści powiązane

• Indeksatory w usłudze Wyszukiwanie AI platformy Azure
• Nawiązywanie połączenia z narzędziami Foundry z przepływów pracy w usłudze Azure Logic Apps
• Zarządzanie aplikacjami logiki