Memecahkan masalah perbedaan penyimpanan dan metrik di Pencarian Azure AI

Artikel ini menjawab pertanyaan umum tentang metrik penyimpanan yang tampak tidak konsisten di portal Microsoft Azure, REST API, dan Azure SDK.

Nilai penyimpanan di Pencarian Azure AI dikumpulkan secara berkala dan mungkin tidak mencerminkan status real time. Oleh karena itu, perbedaan jangka pendek diharapkan dalam sebagian besar skenario.

Untuk informasi latar belakang tentang cara pengumpulan dan pelaporan metrik, lihat Memantau Pencarian Azure AI.

Mengapa penyimpanan tidak segera berubah saat saya menghapus atau memperbarui dokumen?

Saat Anda menghapus dokumen, Pencarian Azure AI segera mengakui penghapusan, tetapi reklamasi penyimpanan fisik terjadi melalui operasi penggabungan latar belakang. Dokumen dasar ditandai telah dihapus dan diabaikan dalam kueri berikutnya. Saat dokumen baru diindeks dan indeks internal tumbuh, sistem membersihkan dokumen yang dihapus dan mengklaim kembali sumber daya. Ini berarti Anda kemungkinan akan mengamati adanya jeda antara menghapus dokumen dan sumber daya yang mendasar dibebaskan.

Pembaruan dokumen memiliki efek yang sama pada penyimpanan. Karena dokumen tidak dapat diubah, pembaruan secara internal adalah operasi hapus dan sisipkan: versi lama ditandai sebagai dihapus, dan versi baru disisipkan. Hingga operasi penggabungan latar belakang membersihkan versi lama, Anda mungkin mengamati bahwa penyimpanan meningkat sementara daripada tetap sama.

Operasi penggabungan ini biasanya selesai dalam waktu 24 hingga 72 jam, tergantung pada jumlah beban pada layanan. Jika Anda mendekati batas penyimpanan tingkat harga Anda, perhitungkan peningkatan sementara ini saat Anda merencanakan pembaruan skala besar atau penggantian dokumen.

Untuk informasi selengkapnya, lihat Menghapus dokumen dalam indeks pencarian dan Overhead dari penghapusan atau pembaruan dokumen dalam indeks.

Mengapa nilai portal dan API berbeda pada titik waktu yang sama?

Portal Microsoft Azure dan REST API mungkin melaporkan nilai yang berbeda karena memiliki irama refresh yang berbeda. Khususnya:

• Tab Penggunaan di halaman Gambaran Umum portal di-refresh secara berkala, biasanya setiap beberapa menit.
• Statistik Layanan GET mengembalikan penghitung tingkat layanan, termasuk storageSize, , vectorIndexSizedan documentCount.
• GET Index Statistics mengembalikan penghitung tiap indeks.

Statistik tingkat layanan dan tingkat indeks dikumpulkan secara independen dan pada interval yang berbeda. Rekam jepret dari satu permukaan mungkin tidak selaras dengan rekam jepret dari yang lain jika tidak ditangkap pada saat yang sama. Perilaku ini normal dan tidak menunjukkan cacat.

Untuk informasi selengkapnya tentang pemantauan permukaan, lihat Memantau Pencarian Azure AI.

Mengapa indeks pembangunan ulang lebih besar dari indeks yang lebih lama dengan konten serupa?

Indeks pembangunan ulang mungkin untuk sementara menunjukkan profil penyimpanan yang berbeda karena operasi penggabungan latar belakang belum selesai membersihkan versi dokumen lama. Tergantung pada beban layanan, penggabungan ini biasanya memakan waktu 24 hingga 72 jam. Selama periode ini, penyimpanan mungkin tampak lebih besar dari yang diharapkan, yang sangat penting untuk dipertimbangkan jika Anda mendekati batas penyimpanan tingkat harga Anda. Rencanakan operasi pembangunan ulang atau migrasi besar selama periode aktivitas pengindeksan yang lebih rendah, dan pantau metrik penyimpanan hingga penggabungan selesai.

Bahkan setelah operasi penggabungan selesai, ukuran akhir indeks pembangunan ulang mungkin sedikit berbeda dari yang asli. Ukuran penyimpanan indeks tidak mendeterministik, dan beberapa faktor memengaruhi hasilnya:

• Perubahan skema, seperti menambahkan bidang, penganalisis, atau konfigurasi vektor.
• Pola penyerapan dan pembaruan yang memengaruhi rasio dokumen yang dihapus.
• Pengaturan pengoptimalan vektor, seperti opsi kuantisasi atau pengurangan penyimpanan.

Untuk informasi selengkapnya tentang faktor-faktor yang memengaruhi ukuran, lihat Ukuran dan batas indeks vektor dan Batas layanan di Pencarian Azure AI.

Mengapa total penyimpanan tidak cocok dengan ukuran indeks vektor?

storageSize dan vectorIndexSize mengukur hal-hal yang berbeda:

• storageSize adalah jejak disk total indeks, termasuk konten semua jenis data, seperti teks, metadata, dan vektor.
• vectorIndexSize adalah batas ukuran indeks vektor yang dimuat ke dalam memori. Bidang vektor yang menggunakan algoritma KNN lengkap tidak mengonsumsi kuota indeks vektor dan melaporkan nol untuk vectorIndexSize. Untuk informasi selengkapnya, lihat Ukuran dan batas indeks vektor.

Pada disk, total penyimpanan yang digunakan oleh vektor mungkin lebih besar dari ukuran indeks vektor dalam memori karena Pencarian Azure AI menyimpan beberapa salinan bidang vektor untuk tujuan yang berbeda. Untuk informasi tentang salinan ini dan cara mengurangi penggunaan disk, lihat Menghilangkan instans vektor opsional dari penyimpanan.

Bagaimana cara membandingkan metrik dengan benar?

Untuk menentukan apakah ketidakcocokan adalah artefak nyata atau artefak waktu, ambil nilai dari permukaan yang sama dalam jendela waktu UTC yang konsisten.

1. Panggil Statistik Layanan GET dan Statistik Indeks GET dalam jendela lima menit yang sama.
2. Ulangi pengambilan sampel pada irama tetap, seperti setiap 20 hingga 30 menit.
3. Bandingkan setidaknya tiga jendela berturut-turut sebelum Anda menyimpulkan bahwa nilai tidak berkonvergensi.
4. Evaluasi storageSize secara terpisah dari vectorIndexSize karena mereka memantau struktur fisik yang berbeda.

Kapan ketidaksesuaian diharapkan dan cacat produk aktual terjadi?

Sebagian besar perbedaan diharapkan dan diselesaikan tanpa intervensi. Jika kriteria cacat terpenuhi, buka permintaan dukungan dengan bukti yang dijelaskan di bagian berikutnya.

Divergensi yang diharapkan

• Anda baru-baru ini melakukan pengindeksan, pembaruan, atau penghapusan berat, dan nilai masih berkonvergensi.
• Nilai portal dan API berbeda, tetapi kesenjangan menyempit pada sampel yang berulang.
• storageSize dan vectorIndexSize tidak cocok, ini memang sengaja karena mereka mengukur hal-hal yang berbeda.

Kemungkinan cacat

• Perbedaan berlanjut di setidaknya tiga jendela pengambilan sampel yang selaras selama periode aktivitas tulis atau hapus rendah.
• Tidak ada tren konvergensi yang terlihat meskipun pengambilan sampel berulang.
• Nilai yang dilaporkan menyebabkan keputusan operasional yang salah, seperti pemicu skala otomatis yang tertunda atau kegagalan penegakan kuota.

Apa yang harus saya sertakan dalam permintaan dukungan?

Sertakan informasi berikut dalam permintaan dukungan Anda:

• Tanda waktu UTC untuk setiap portal dan sampel API.
• Respons JSON mentah dari Statistik Layanan GET dan Statistik Indeks GET.
• Perkiraan penyerapan, pembaruan, dan penghapusan volume selama periode pengamatan.
• Deskripsi dampak operasional, seperti penundaan penskalaan, blok kuota, atau pelaporan kapasitas yang salah.

Konten terkait

• Pemantauan Pencarian Azure AI
• Ukuran dan batas indeks vektor
• Batas layanan di Pencarian Azure AI
• Menghapus dokumen dalam indeks pencarian