Planowanie indeksatora w usłudze Foundry IQ (Wyszukiwanie AI platformy Azure)

Uwaga

Foundry IQ (Wyszukiwanie AI platformy Azure) udostępnia bezpośrednie interfejsy API indeksowania i zapytań, a także interfejsy API wyższego poziomu dla źródeł wiedzy i baz wiedzy do zarządzanego pobierania. Użyj portalu Azure, interfejsów API REST lub Azure SDKs, aby skonfigurować te możliwości lub połączyć agentów z bazami wiedzy w portalu Microsoft Foundry.

schedule Ustaw właściwość , aby skonfigurować indeksatory do uruchamiania zgodnie z harmonogramem. Planowanie indeksatora jest przydatne w sytuacjach takich jak:

  • Dane źródłowe zmieniają się w czasie i chcesz, aby indeksator automatycznie przetwarzał różnicę.
  • Dane źródłowe są bardzo duże i potrzebujesz cyklicznego harmonogramu indeksowania całej zawartości.
  • Indeks jest wypełniany z wielu źródeł przy użyciu wielu indeksatorów i chcesz rozmieścić zadania w celu zmniejszenia konfliktów.

Użyj harmonogramu cyklicznego, aby odnaleźć nową lub zmienioną zawartość źródłową. Oddzielnie funkcja Search może automatycznie kontynuować niedokończone pozyskiwanie po zatrzymaniu przetwarzania zawartości z powodu limitu czasu wykonywania. O ile źródło danych obsługuje wykrywanie zmian, kolejne wykonania mogą być wznawiane z zapisanego postępu.

Gdy skonfigurujesz indeksator tak, aby działał zgodnie z harmonogramem, pozostanie on objęty harmonogramem, dopóki nie wyczyścisz interwału lub godziny rozpoczęcia albo nie ustawisz dla disabled wartości true. Jeśli zaplanowany indeksator niespodziewanie przestanie się uruchamiać, zobacz Często zadawane pytania dotyczące działania harmonogramu, aby zapoznać się z krokami odzyskiwania. Pozostawienie indeksatora włączonego zgodnie z harmonogramem, gdy nie ma nic do przetworzenia, nie wpływa na wydajność systemu. Sprawdzanie, czy zmieniona zawartość jest stosunkowo szybką operacją.

Wymagania wstępne

  • Prawidłowy indeksator skonfigurowany ze źródłem danych i indeksem.

  • Wykrywanie zmian w źródle danych. Usługi Azure Storage i SharePoint mają wbudowane wykrywanie zmian. W przypadku innych źródeł danych, takich jak Azure SQL i Azure Cosmos DB, należy ręcznie włączyć wykrywanie zmian.

Automatyczna kontynuacja po zatrzymaniu czasu wykonywania

Gdy uruchomienie indeksatora przetwarzania zawartości osiągnie limit przydziału czasu wykonywania na przebieg, a kwalifikujące się prace pozostają, funkcja Wyszukiwania automatycznie kolejkuje pracę kontynuacji. Ta kontynuacja wygenerowana przez system jest oddzielona od skonfigurowanego harmonogramu sondowania.

Na przykład indeksowane źródło wiedzy może sprawdzać zmiany co 24 godziny. Jeśli wygenerowany indeksator osiągnie limit przydziału czasu wykonywania podczas początkowego lub przyrostowego pozyskiwania, kwalifikujące się niedokończone prace są w kolejce do kontynuacji, a nie oczekują na kolejną codzienną ankietę. Nie musisz skracać interwału sondowania wyłącznie w celu kontynuowania tej pracy.

Kontynuacja przechodzi na koniec kolejki przetwarzania zawartości. Nie jest to natychmiastowe ponowne uruchomienie, a obciążenie kolejki może opóźnić wykonywanie. Następne wykonanie zostanie wznowione z zapisanego postępu, zamiast resetować indeksator. Praca wykonana po ostatnim zapisanym punkcie kontrolnym może zostać ponownie przetworzona. Duże zadanie importu danych może wymagać wielu okien uruchomienia.

Poprzedni wynik przebiegu Czego oczekiwać
Osiągnięto limit przydziału czasu wykonywania, a pozostały zadania kwalifikujące się do wykonania. Kolejki wyszukiwania wykonują pracę kontynuacji, z zastrzeżeniem dostępności kolejek.
Normalne zakończenie. Żadna niedokończona praca nie wymaga kontynuacji limitu przydziału. Przyszłe zmiany źródła są odnajdywane zgodnie ze skonfigurowanym harmonogramem.
Anulowanie, trwałe niepowodzenie lub nieprawidłowa konfiguracja. Nie należy polegać na dalszym przydziale limitu w celu przywrócenia działania. Rozwiąż przyczynę i użyj odpowiedniej procedury uruchamiania lub planowania.

Kontynuacja nie zmienia skonfigurowanego interwału sondowania ani nie zezwala na dwie współbieżne kopie tego samego indeksatora. Żądania zaplanowane i na żądanie pozostają objęte normalnym zachowaniem planowania. Nie należy wielokrotnie przesyłać ręcznych uruchomień w celu obejścia kolejki.

Automatyczna kontynuacja nie usuwa limitów wykonywania ani nie gwarantuje czasu ukończenia. Powtarzające się błędy mogą spowodować wydłużenie odstępów ponownych prób. Jeśli wykonywanie wielokrotnie kończy się bez postępów, zbadaj źródło, rozmiary dokumentów i przetwarzanie umiejętności, zamiast zakładać, że ponowienia kontynuacji będą trwały bez końca, aż do skutku. Zobacz Rozwiązywanie problemów z niedokończonym pozyskiwaniem danych.

Użyj historii wykonywania, aby monitorować zatrzymania spowodowane limitem przydziału i kolejny postęp. Zatrzymanie dla pojedynczego przebiegu opisane tutaj różni się od skumulowanego limitu czasu wykonywania dla całej usługi w usługach S3 HD i Serverless. Kontynuacja nie pozwala obejść tego limitu przydziału.

Definicja harmonogramu

Harmonogram jest częścią definicji indeksatora. Jeśli pominiesz właściwość schedule, indeksator nie ma cyklicznego harmonogramu sondowania; uruchom go na żądanie. Automatyczne wznawianie, jeśli ma zastosowanie, jest oddzielone od konfigurowania cyklicznych odpytan. Właściwość ma dwie części.

Właściwości opis
"interwał" (wymagane) Czas między rozpoczęciem dwóch kolejnych wykonań indeksatora. Najmniejszy dozwolony interwał wynosi 5 minut, a najdłuższy to 1440 minut (24 godziny). Sformatuj ją jako wartość XSD "dayTimeDuration" (ograniczony podzestaw wartości czasu trwania ISO 8601 ).

Wzorzec dla tej wartości to: P(nD)(T(nH)(nM)).

Przykłady: PT15M co 15 minut, PT2H co dwie godziny.
czas rozpoczęcia (opcjonalnie) Określ godzinę rozpoczęcia w uniwersalnym czasie koordynowanym (UTC). Jeśli pominiesz tę wartość, zostanie użyty bieżący czas. Ten czas może być w przeszłości, w takim przypadku pierwsze wykonanie zostaje zaplanowane tak, jakby indeksator był uruchomiony w ciągły sposób od oryginalnego czasu rozpoczęcia.

Poniższy przykład to harmonogram rozpoczynający się 1 stycznia o północy i uruchamiany co dwie godziny.

{
    "dataSourceName" : "hotels-ds",
    "targetIndexName" : "hotels-idx",
    "schedule" : { "interval" : "PT2H", "startTime" : "2024-01-01T00:00:00Z" }
}

Konfigurowanie harmonogramu

Określ harmonogramy w definicji indeksatora. Aby skonfigurować harmonogram, użyj portalu Azure, interfejsów API REST lub Azure SDK.

  1. Przejdź do usługi Foundry IQ w portalu Azure.
  2. W okienku po lewej stronie wybierz pozycję Indeksatory.
  3. Otwórz indeksator.
  4. Wybierz Ustawienia.
  5. Przewiń w dół do pozycji Harmonogram, a następnie wybierz pozycję Godzinowe, Dzienne lub Niestandardowe , aby ustawić określoną datę, godzinę lub interwał niestandardowy.

Przejdź do karty Definicja indeksatora (JSON) w górnej części indeksu, aby wyświetlić definicję harmonogramu w formacie XSD.

Zachowanie harmonogramu — często zadawane pytania

Czy można uruchamiać wiele zadań indeksatora równolegle?

Można uruchomić wiele indeksatorów jednocześnie, ale każdy indeksator jest jednym wystąpieniem. Nie można jednocześnie uruchomić dwóch kopii tego samego indeksatora.

W przypadku indeksowania opartego na tekście harmonogram może uruchomić tyle zadań indeksatora, jak obsługuje usługa IQ usługi Foundry, która określa liczbę jednostek wyszukiwania . Jeśli na przykład usługa ma trzy repliki i cztery partycje, możesz mieć 12 zadań indeksatora aktywnie wykonywanych, niezależnie od tego, czy zostały zainicjowane na żądanie, czy zgodnie z harmonogramem.

W przypadku indeksowania opartego na umiejętnościach indeksatory są uruchamiane w określonym środowisku wykonywania. Z tego powodu liczba jednostek usług nie ma wpływu na liczbę zadań indeksatora opartego na umiejętnościach, które można uruchomić. Wiele indeksatorów opartych na umiejętnościach może działać równolegle, ale zależy to od dostępności procesora zawartości w środowisku wykonywania.

Czy zaplanowane zadania są zawsze uruchamiane w wyznaczonym czasie?

Procesy indeksatora mogą trafiać do kolejki i mogą nie uruchamiać się dokładnie o podanym czasie, w zależności od obciążenia przetwarzaniem i innych czynników. Jeśli na przykład indeksator nadal działa, gdy jego następne zaplanowane wykonanie ma zostać uruchomione, oczekujące wykonanie zostanie odłożone do następnego zaplanowanego wystąpienia, co umożliwia zakończenie bieżącego zadania.

Aby uczynić to zachowanie bardziej konkretnym, rozważmy poniższy przykład. Załóżmy, że konfigurujesz harmonogram indeksatora z interwałem godzinowym i godziną rozpoczęcia 1 stycznia 2024 r. o 8:00:00 czasu UTC. Oto, co może się zdarzyć, gdy uruchomienie indeksatora trwa dłużej niż godzinę:

  1. Pierwsze uruchomienie indeksatora rozpoczyna się 1 stycznia 2024 r. o 8:00 rano czasu UTC. Załóżmy, że wykonanie trwa 20 minut (lub dowolna ilość czasu mniejsza niż 1 godzina).

  2. Drugie wykonanie rozpoczyna się o lub około 1 stycznia 2024 r. o 9:00 czasu UTC. Załóżmy, że wykonanie trwa 70 minut — więcej niż godzinę — i nie zostanie ukończone do godziny 10:10 czasu UTC.

  3. Trzecie wykonanie jest zaplanowane do rozpoczęcia o 10:00 czasu UTC, ale w tym czasie poprzednie wykonanie jest nadal uruchomione. To zaplanowane wykonanie jest następnie pomijane. Następne wykonanie indeksatora nie rozpoczyna się do godziny 11:00 czasu UTC.

W rzadkich przypadkach, na przykład podczas konserwacji lub przywracania działania po przejściowych problemach, system umieszcza w kolejce wiele uruchomień indeksatora. Gdy wystąpi ten warunek, indeksator wykonuje oczekujące zadania sekwencyjnie w wyznaczonym oknie czasowym. Jeśli na przykład indeksator jest zaplanowany do uruchamiania co godzinę, a kilka uruchomień zostało opóźnionych lub uruchomionych na żądanie, te zadania są wykonywane jedno po drugim, aż do opróżnienia kolejki. Te uruchomienia nie są dodatkowymi uruchomieniami, lecz oznaczają wcześniej zaplanowane lub zażądane wykonania. Chociaż to zachowanie jest nietypowe w większości scenariuszy, indeksator został zaprojektowany tak, aby ostatecznie przetworzyć wszystkie zadania w kolejce w celu zachowania spójności i aktualności danych.

Uwaga

Jeśli masz ścisłe, krytyczne czasowo wymagania dotyczące uruchamiania indeksatora, rozważ użycie modelu push API, aby bezpośrednio kontrolować potok indeksowania.

Co się stanie, jeśli indeksowanie wielokrotnie kończy się niepowodzeniem w tym samym dokumencie?

Jeśli indeksator zostanie ustawiony zgodnie z określonym harmonogramem, ale za każdym razem kończy działanie niepowodzeniem na tym samym dokumencie, zaczyna działać w dłuższych odstępach czasu (aż do maksymalnego odstępu wynoszącego co najmniej 2 godziny lub 24 godziny, w zależności od czynników związanych z implementacją), dopóki ponownie nie zacznie robić postępów. Jeśli uważasz, że rozwiązano podstawowy problem, uruchom indeksator ręcznie. Jeśli indeksowanie zakończy się pomyślnie, indeksator powróci do regularnego harmonogramu. Jeśli indeksator nie powróci do regularnego harmonogramu po pomyślnym ręcznym uruchomieniu, zobacz następne pytanie.

Indeksator uruchamiany zgodnie z harmonogramem przestał się uruchamiać. Jak mogę ponownie uruchomić jego harmonogram?

Użyj tej procedury, gdy w historii wykonywania nie są wyświetlane żadne nowe uruchomienia, mimo że indeksator ma harmonogram i jego źródło danych uległo zmianie. Opóźnione lub nadal trwające wykonanie nie oznacza, że harmonogram przestał wyzwalać.

Ustawienie disabled na true wstrzymuje zaplanowane uruchomienia. Ustawienie go z powrotem na false wznawia planowanie przy użyciu bieżącego czasu jako nowego punktu odniesienia dla skonfigurowanego interwału. Ponowne włączenie indeksatora nie powoduje natychmiastowego uruchomienia.

Nie resetuj indeksatora, aby ponownie uruchomić harmonogram. Zresetowanie powoduje wyczyszczenie znacznika wysokiego poziomu i oznaczenie wszystkich dokumentów do pełnego nadpisania, co może wymusić ponowne przetwarzanie wszystkich danych przez indeksator.

  1. Przejdź do usługi Foundry IQ w portalu Azure.
  2. Wybierz pozycję Indeksatory.
  3. Wybierz indeksator, aby go otworzyć.
  4. Wybierz Ustawienia.
  5. Ustaw indeksator na Wyłączone.
  6. Wybierz opcję Zapisz.
  7. Ustaw indeksator z powrotem na wartość Włączone.
  8. Wybierz opcję Zapisz.
  9. Wybierz kartę Historia uruchomień i sprawdź, czy podczas następnego zaplanowanego uruchomienia pojawi się nowe uruchomienie.

Uwaga

Ponowne włączenie indeksatora spowoduje zresetowanie harmonogramu względem bieżącej godziny, a nie oryginalnego startTime. Jeśli na przykład interwał wynosi dwie godziny, a funkcję ponownie włączysz o 15:15, następne zaplanowane uruchomienie odbędzie się około 17:15.

Następne kroki

W przypadku indeksatorów uruchamianych zgodnie z harmonogramem można monitorować operacje, pobierając stan z usługi IQ usługi Foundry lub uzyskać szczegółowe informacje, włączając rejestrowanie zasobów.