Planowanie indeksatora w usłudze Wyszukiwanie AI platformy Azure

schedule Ustaw właściwość , aby skonfigurować indeksatory do uruchamiania zgodnie z harmonogramem. Planowanie indeksatora jest przydatne w sytuacjach takich jak:

• Dane źródłowe zmieniają się w czasie i chcesz, aby indeksator automatycznie przetwarzał różnicę.
• Dane źródłowe są bardzo duże i potrzebujesz cyklicznego harmonogramu indeksowania całej zawartości.
• Indeks jest wypełniany z wielu źródeł przy użyciu wielu indeksatorów i chcesz rozmieścić zadania w celu zmniejszenia konfliktów.

Jeśli nie można ukończyć indeksowania w typowym 2-godzinnym oknie przetwarzania, skonfiguruj indeksator tak, aby uruchamiał się co 2 godziny i mógł przetworzyć duży wolumen danych. Tak długo, jak źródło danych obsługuje logikę wykrywania zmian, indeksatory mogą automatycznie kontynuować tam, gdzie skończyły w każdym przebiegu.

Gdy skonfigurujesz indeksator tak, aby działał zgodnie z harmonogramem, pozostanie on objęty harmonogramem, dopóki nie wyczyścisz interwału lub godziny rozpoczęcia albo nie ustawisz dla disabled wartości true. Jeśli zaplanowany indeksator niespodziewanie przestanie się uruchamiać, zobacz Często zadawane pytania dotyczące działania harmonogramu, aby zapoznać się z krokami odzyskiwania. Pozostawienie indeksatora włączonego zgodnie z harmonogramem, gdy nie ma nic do przetworzenia, nie wpływa na wydajność systemu. Sprawdzanie, czy zmieniona zawartość jest stosunkowo szybką operacją.

Wymagania wstępne

• Prawidłowy indeksator skonfigurowany ze źródłem danych i indeksem.

• Wykrywanie zmian w źródle danych. Usługi Azure Storage i SharePoint mają wbudowane wykrywanie zmian. W przypadku innych źródeł danych, takich jak Azure SQL i Azure Cosmos DB, należy ręcznie włączyć wykrywanie zmian.

Definicja harmonogramu

Harmonogram jest częścią definicji indeksatora. Jeśli pominięto schedule właściwość, indeksator działa tylko na żądanie. Właściwość ma dwie części.

Poniższy przykład to harmonogram rozpoczynający się 1 stycznia o północy i uruchamiany co dwie godziny.

{
    "dataSourceName" : "hotels-ds",
    "targetIndexName" : "hotels-idx",
    "schedule" : { "interval" : "PT2H", "startTime" : "2024-01-01T00:00:00Z" }
}

Konfigurowanie harmonogramu

Określ harmonogramy w definicji indeksatora. Aby skonfigurować harmonogram, użyj portalu Azure, interfejsów API REST lub Azure SDK.

var schedule = new IndexingSchedule(TimeSpan.FromDays(1))
{
    StartTime = DateTimeOffset.Now
};

var indexer = new SearchIndexer("demo-idxr", dataSource.Name, searchIndex.Name)
{
    Description = "Demo data indexer",
    Schedule = schedule
};

await indexerClient.CreateOrUpdateIndexerAsync(indexer);

Zachowanie harmonogramu — często zadawane pytania

Czy można uruchamiać wiele zadań indeksatora równolegle?

Można uruchomić wiele indeksatorów jednocześnie, ale każdy indeksator jest jednym wystąpieniem. Nie można jednocześnie uruchomić dwóch kopii tego samego indeksatora.

W przypadku indeksowania opartego na tekście harmonogram może uruchomić dowolną liczbę zadań indeksatora, które obsługuje usługa wyszukiwania, co określa liczba jednostek wyszukiwania . Jeśli na przykład usługa ma trzy repliki i cztery partycje, możesz mieć 12 zadań indeksatora aktywnie wykonywanych, niezależnie od tego, czy zostały zainicjowane na żądanie, czy zgodnie z harmonogramem.

W przypadku indeksowania opartego na umiejętnościach indeksatory są uruchamiane w określonym środowisku wykonywania. Z tego powodu liczba jednostek usług nie ma wpływu na liczbę zadań indeksatora opartego na umiejętnościach, które można uruchomić. Wiele indeksatorów opartych na umiejętnościach może działać równolegle, ale zależy to od dostępności procesora zawartości w środowisku wykonywania.

Czy zaplanowane zadania są zawsze uruchamiane w wyznaczonym czasie?

Procesy indeksatora mogą trafiać do kolejki i mogą nie uruchamiać się dokładnie o podanym czasie, w zależności od obciążenia przetwarzaniem i innych czynników. Jeśli na przykład indeksator nadal działa, gdy jego następne zaplanowane wykonanie ma zostać uruchomione, oczekujące wykonanie zostanie odłożone do następnego zaplanowanego wystąpienia, co umożliwia zakończenie bieżącego zadania.

Aby uczynić to zachowanie bardziej konkretnym, rozważmy poniższy przykład. Załóżmy, że konfigurujesz harmonogram indeksatora z interwałem godzinowym i godziną rozpoczęcia 1 stycznia 2024 r. o 8:00:00 czasu UTC. Oto, co może się zdarzyć, gdy uruchomienie indeksatora trwa dłużej niż godzinę:

1. Pierwsze uruchomienie indeksatora rozpoczyna się 1 stycznia 2024 r. o 8:00 rano czasu UTC. Załóżmy, że wykonanie trwa 20 minut (lub dowolna ilość czasu mniejsza niż 1 godzina).

2. Drugie wykonanie rozpoczyna się o lub około 1 stycznia 2024 r. o 9:00 czasu UTC. Załóżmy, że wykonanie trwa 70 minut — więcej niż godzinę — i nie zostanie ukończone do godziny 10:10 czasu UTC.

3. Trzecie wykonanie jest zaplanowane do rozpoczęcia o 10:00 czasu UTC, ale w tym czasie poprzednie wykonanie jest nadal uruchomione. To zaplanowane wykonanie jest następnie pomijane. Następne wykonanie indeksatora nie rozpoczyna się do godziny 11:00 czasu UTC.

W rzadkich przypadkach, na przykład podczas konserwacji lub przywracania działania po przejściowych problemach, system umieszcza w kolejce wiele uruchomień indeksatora. Gdy wystąpi ten warunek, indeksator wykonuje oczekujące zadania sekwencyjnie w wyznaczonym oknie czasowym. Jeśli na przykład indeksator jest zaplanowany do uruchamiania co godzinę, a kilka uruchomień zostało opóźnionych lub uruchomionych na żądanie, te zadania są wykonywane jedno po drugim, aż do opróżnienia kolejki. Te uruchomienia nie są dodatkowymi uruchomieniami, lecz oznaczają wcześniej zaplanowane lub zażądane wykonania. Chociaż to zachowanie jest nietypowe w większości scenariuszy, indeksator został zaprojektowany tak, aby ostatecznie przetworzyć wszystkie zadania w kolejce w celu zachowania spójności i aktualności danych.

Co się stanie, jeśli indeksowanie wielokrotnie kończy się niepowodzeniem w tym samym dokumencie?

Jeśli indeksator zostanie ustawiony zgodnie z określonym harmonogramem, ale za każdym razem kończy działanie niepowodzeniem na tym samym dokumencie, zaczyna działać w dłuższych odstępach czasu (aż do maksymalnego odstępu wynoszącego co najmniej 2 godziny lub 24 godziny, w zależności od czynników związanych z implementacją), dopóki ponownie nie zacznie robić postępów. Jeśli uważasz, że rozwiązano podstawowy problem, uruchom indeksator ręcznie. Jeśli indeksowanie zakończy się pomyślnie, indeksator powróci do regularnego harmonogramu. Jeśli indeksator nie powróci do regularnego harmonogramu po pomyślnym ręcznym uruchomieniu, zobacz następne pytanie.

Indeksator uruchamiany zgodnie z harmonogramem przestał się uruchamiać. Jak zresetować jego harmonogram?

Jeśli zaplanowany indeksator przestanie działać, wyłącz go, a następnie ponownie włącz go, aby zresetować harmonogram. O tym, że to odzyskiwanie jest potrzebne, świadczy to, że w historii uruchomień nie pojawiają się żadne nowe uruchomienia, mimo że harmonogram jest skonfigurowany, a źródło danych zostało zmienione.

Ustawienie disabled na true wstrzymuje harmonogram. Ustawienie go z powrotem na false (lub pominięcie właściwości) wznawia planowanie, używając bieżącego czasu jako nowego punktu odniesienia dla skonfigurowanego interwału.

Następne kroki

W przypadku indeksatorów uruchamianych zgodnie z harmonogramem można monitorować operacje przez pobieranie stanu z usługi wyszukiwania lub uzyskiwanie szczegółowych informacji przez włączenie rejestrowania zasobów.

• Monitorowanie stanu indeksatora wyszukiwania
• Zbieranie i analizowanie danych dziennika
• Indeksowanie dużych zestawów danych