Menjadwalkan pengindeks di Pencarian Azure AI

Atur schedule properti untuk mengonfigurasi pengindeks agar berjalan sesuai jadwal. Penjadwalan pengindeks berguna dalam situasi seperti:

• Data sumber berubah dari waktu ke waktu, dan Anda ingin pengindeks memproses perbedaan secara otomatis.
• Data sumber sangat besar, dan Anda memerlukan jadwal berulang untuk mengindeks semua konten.
• Indeks diisi datanya dari beberapa sumber menggunakan beberapa pengindeks, dan Anda ingin menjadwalkan pekerjaan tersebut secara berselang untuk mengurangi konflik.

Saat pengindeksan tidak dapat diselesaikan dalam jendela pemrosesan 2 jam yang khas, jadwalkan pengindeks untuk berjalan pada irama 2 jam untuk bekerja melalui volume data yang besar. Selama sumber data Anda mendukung logika deteksi perubahan, pengindeks dapat secara otomatis melanjutkan dari titik terakhir pada setiap pemrosesan.

Setelah Anda menjadwalkan pengindeks, pengindeks akan tetap terjadwal hingga Anda mengosongkan interval atau waktu mulai, atau menyetel disabled ke true. Jika pengindeks terjadwal berhenti memicu secara tak terduga, lihat Tanya Jawab Umum perilaku penjadwalan untuk langkah-langkah pemulihan. Membiarkan pengindeks berjalan sesuai jadwal saat tidak ada yang perlu diproses tidak memengaruhi kinerja sistem. Memeriksa konten yang diubah adalah operasi yang relatif cepat.

Prasyarat

• Pengindeks yang valid dikonfigurasi dengan sumber data dan indeks.

• Deteksi perubahan di sumber data. Azure Storage dan SharePoint memiliki deteksi perubahan bawaan. Untuk sumber data lain, seperti Azure SQL dan Azure Cosmos DB, Anda harus mengaktifkan deteksi perubahan secara manual.

Definisi jadwal

Jadwal adalah bagian dari definisi pengindeks. Jika Anda menghilangkan schedule properti, pengindeks hanya berjalan sesuai permintaan. Properti memiliki dua bagian.

Contoh berikut adalah jadwal yang dimulai pada 1 Januari tengah malam dan berjalan setiap dua jam.

{
    "dataSourceName" : "hotels-ds",
    "targetIndexName" : "hotels-idx",
    "schedule" : { "interval" : "PT2H", "startTime" : "2024-01-01T00:00:00Z" }
}

Mengonfigurasi jadwal

Tentukan jadwal dalam definisi pengindeks. Untuk menyiapkan jadwal, gunakan portal Azure, REST API, atau Azure SDK.

var schedule = new IndexingSchedule(TimeSpan.FromDays(1))
{
    StartTime = DateTimeOffset.Now
};

var indexer = new SearchIndexer("demo-idxr", dataSource.Name, searchIndex.Name)
{
    Description = "Demo data indexer",
    Schedule = schedule
};

await indexerClient.CreateOrUpdateIndexerAsync(indexer);

Tanya Jawab Umum perilaku penjadwalan

Bisakah saya menjalankan beberapa pekerjaan pengindeks secara paralel?

Anda dapat menjalankan beberapa pengindeks secara bersamaan, tetapi setiap pengindeks adalah satu instans. Anda tidak dapat menjalankan dua salinan pengindeks yang sama secara bersamaan.

Untuk pengindeksan berbasis teks, penjadwal dapat memulai pekerjaan pengindeks sebanyak yang didukung layanan pencarian, yang ditentukan oleh jumlah unit pencarian . Misalnya, jika layanan memiliki tiga replika dan empat partisi, Anda dapat memiliki 12 pekerjaan pengindeks dalam eksekusi aktif, baik yang dimulai sesuai permintaan atau sesuai jadwal.

Untuk pengindeksan berbasis keterampilan, pengindeks berjalan di lingkungan eksekusi tertentu. Untuk alasan ini, jumlah unit layanan tidak memengaruhi jumlah pekerjaan pengindeks berbasis keterampilan yang dapat Anda jalankan. Beberapa pengindeks berbasis keterampilan dapat berjalan secara paralel, tetapi melakukannya tergantung pada ketersediaan prosesor konten dalam lingkungan eksekusi.

Apakah pekerjaan terjadwal selalu dimulai pada waktu yang ditentukan?

Proses pengindeks dapat mengantre dan mungkin tidak dimulai tepat pada saat diposting, tergantung pada beban kerja pemrosesan dan faktor lainnya. Misalnya, jika pengindeks kebetulan masih berjalan saat eksekusi terjadwal berikutnya dijadwalkan untuk dimulai, eksekusi yang tertunda akan ditunda hingga jadwal berikutnya, sehingga tugas yang sedang berjalan dapat selesai.

Untuk membuat perilaku ini lebih konkret, pertimbangkan contoh berikut. Misalkan Anda mengonfigurasi jadwal pengindeks dengan interval per jam dan waktu mulai 1 Januari 2024 pukul 08.00.00 UTC. Berikut hal-hal yang bisa terjadi ketika menjalankan pengindeks membutuhkan waktu lebih dari satu jam.

1. Eksekusi pengindeks pertama dimulai pada atau sekitar 1 Januari 2024 pukul 08.00 UTC. Asumsikan eksekusi ini membutuhkan waktu 20 menit (atau jumlah waktu apa pun yang kurang dari 1 jam).

2. Eksekusi kedua dimulai pada atau sekitar 1 Januari 2024 09.00 UTC. Misalkan eksekusi ini membutuhkan waktu 70 menit - lebih dari satu jam - dan tidak selesai hingga pukul 10.10 UTC.

3. Eksekusi ketiga dijadwalkan dimulai pada pukul 10.00 UTC, namun saat itu eksekusi sebelumnya masih berjalan. Eksekusi terjadwal ini kemudian dilompati. Eksekusi pengindeks berikutnya tidak dimulai hingga pukul 11.00 UTC.

Dalam kasus yang jarang terjadi, misalnya selama pemeliharaan atau saat memulihkan diri dari kondisi transien, sistem mengantrikan beberapa eksekusi pengindeks. Ketika kondisi ini terjadi, pengindeks menjalankan beban kerja yang tertunda secara berurutan dalam jendela terjadwal. Misalnya, jika pengindeks dijadwalkan untuk berjalan setiap jam dan beberapa eksekusi tertunda atau dipicu sesuai permintaan, pekerjaan yang masuk antrean akan dijalankan secara berurutan tanpa jeda hingga antrean habis diproses. Eksekusi ini bukan eksekusi tambahan, tetapi mewakili eksekusi yang sebelumnya telah dijadwalkan atau diminta. Meskipun perilaku ini jarang terjadi dalam sebagian besar skenario, pengindeks dirancang untuk akhirnya memproses semua tugas yang diantrekan untuk menjaga konsistensi dan kesegaran data.

Apa yang terjadi jika pengindeksan gagal berulang kali pada dokumen yang sama?

Jika Anda mengatur pengindeks ke jadwal tertentu tetapi berulang kali gagal pada dokumen yang sama setiap kali, pengindeks mulai berjalan pada interval yang lebih jarang (hingga interval maksimum setidaknya sekali setiap 2 jam atau 24 jam, tergantung pada faktor implementasi yang berbeda) sampai berhasil membuat kemajuan lagi. Jika Anda yakin telah memperbaiki masalah yang mendasarinya, jalankan pengindeks secara manual. Jika pengindeksan berhasil, pengindeks akan kembali ke jadwal regulernya. Jika pengindeks tidak kembali ke jadwal regulernya setelah eksekusi manual berhasil, lihat pertanyaan berikutnya.

Pengindeks terjadwal berhenti memicu. Bagaimana cara mengatur ulang jadwalnya?

Jika pengindeks terjadwal berhenti berjalan, nonaktifkan lalu aktifkan kembali untuk mengatur ulang jadwal. Tanda bahwa pemulihan ini diperlukan: tidak ada eksekusi baru yang muncul dalam riwayat eksekusi meskipun jadwal dikonfigurasi dan sumber data berubah.

Menyetel disabled ke true akan menjeda jadwal. Mengaturnya kembali ke false (atau menghilangkan properti) melanjutkan penjadwalan, menggunakan waktu saat ini sebagai garis besar baru untuk interval yang dikonfigurasi.

Langkah berikutnya

Untuk pengindeks yang berjalan sesuai jadwal, Anda dapat memantau operasi dengan mengambil status dari layanan pencarian, atau mendapatkan informasi terperinci dengan mengaktifkan pengelogan sumber daya.

• Pantau status pengindeks pencarian
• Kumpulkan dan analisis data log
• Mengindeks himpunan data besar