Vektör dizini boyutu ve sınırları

Her vektör alanı için Azure Yapay Zeka Arama, alanda belirtilen algoritma parametrelerini kullanarak bir iç vektör dizini oluşturur. Azure Yapay Zeka Arama vektör dizini boyutuna kotalar getirdiğinden, sınırların altında kalmanızı sağlamak için vektör boyutunu nasıl tahmin edip izleyeceğinizi bilmeniz gerekir.

Dahili olarak, arama dizininin fiziksel veri yapıları şunlardır:

• Ham içerik (tokenize edilmemiş içerik gerektiren erişim desenleri için kullanılır)
• Ters dizinler (aranabilir metin alanları için kullanılır)
• Vektör dizinleri (aranabilir vektör alanları için kullanılır)

Bu makalede, vektör alanlarınızın her birini destekleyen iç vektör dizinlerinin sınırları açıklanmaktadır.

Kota ve vektör dizini boyutuyla ilgili önemli noktalar

• Vektör dizini boyutu bayt cinsinden ölçülür.

• Hizmetinizin toplam depolama alanı tüm vektör dizin dosyalarınızı içerir. Azure Yapay Zeka Arama, vektör dizin dosyalarının farklı kopyalarını farklı amaçlarla korur. Bu kopyalardan bazılarını ortadan kaldırarak vektör dizinlerinin depolama ek yükünü azaltmak için başka seçenekler sunuyoruz.

• Vektör kotaları, bölüm başına arama hizmetinin tamamında uygulanır. Bölümler eklerseniz vektör kotası da artar. Bölüm başına vektör kotaları daha yeni hizmetlerde daha yüksektir. Daha fazla bilgi için bkz . Vektör dizini boyutu sınırları.

• Tüm algoritmalar vektör dizini boyutu kotası kullanmaz. Vektör kotaları, Yaklaşık En Yakın Komşu (ANN) aramasının bellek gereksinimlerine göre oluşturulur. Hiyerarşik Gezinilebilir Küçük Dünya (HNSW) algoritmasıyla oluşturulan vektör alanlarının, grafik tabanlı dolaşmaların rastgele erişim özelliği nedeniyle sorgu yürütme sırasında bellekte bulunması gerekir. Kapsamlı K-En Yakın Komşular (KNN) algoritmasını kullanan vektör alanları, sorgu yürütme sırasında sayfalara dinamik olarak belleğe yüklenir ve bu nedenle vektör kotasını kullanmaz.

** Kontrol et bölüm boyutunu ve miktarını

Arama hizmeti sınırlarınızın ne olduğundan emin değilseniz, bu bilgileri almanın iki yolu vardır:

• Azure portalında, arama hizmetine Genel Bakış sayfasında, hem Özellikler sekmesi hem de Kullanım sekmesi bölüm boyutunu ve depolamayı, ayrıca vektör kotası ve vektör dizini boyutunu gösterir.

• Azure portalının Ölçek sayfasında bölümlerin sayısını ve boyutunu gözden geçirebilirsiniz.

Vektör sınırınız , hizmet oluşturma tarihinize bağlı olarak değişir.

Vektör dizini boyutunu denetleme

Vektör ölçümleri için istek, veri düzlemi işlemidir. Hizmet istatistikleri ve tek tek dizinler aracılığıyla hizmet düzeyinde vektör kullanımı elde etmek için Azure portalını, REST API'lerini veya Azure SDK'larını kullanabilirsiniz.

GET {{baseUrl}}/servicestats?api-version=2026-04-01  HTTP/1.1
Content-Type: application/json
api-key: {{apiKey}}

{
    "@odata.context": "https://my-demo.search.windows.net/$metadata#Microsoft.Azure.Search.V2023_11_01.ServiceStatistics",
    "counters": {
        "documentCount": {
            "usage": 15377,
            "quota": null
        },
        "indexesCount": {
            "usage": 13,
            "quota": 15
        },
        "knowledgeBasesCount": {
            "usage": 2,
            "quota": 10
        },
        "knowledgeSourcesCount": {
            "usage": 5,
            "quota": 30
        },
        . . .
        "storageSize": {
            "usage": 39862913,
            "quota": 2147483648
        },
        . . .
        "vectorIndexSize": {
            "usage": 2685436,
            "quota": 1073741824
        }
    },
    "limits": {
        "maxFieldsPerIndex": 1000,
        "maxFieldNestingDepthPerIndex": 10,
        "maxComplexCollectionFieldsPerIndex": 40,
        "maxComplexObjectsInCollectionsPerDocument": 3000
    }
}

GET {{baseUrl}}/indexes/vector-healthplan-idx/stats?api-version=2026-04-01  HTTP/1.1
Content-Type: application/json
api-key: {{apiKey}}

{
    "@odata.context": "https://my-demo.search.windows.net/$metadata#Microsoft.Azure.Search.V2023_11_01.IndexStatistics",
    "documentCount": 147,
    "storageSize": 4592870,
    "vectorIndexSize": 915484
}

Vektör dizini boyutunu etkileyen faktörler

İç vektör dizininizin boyutunu etkileyen üç ana bileşen vardır:

• Verilerin ham boyutu
• Seçili algoritmanın yükü
• Dizin içindeki belgeleri silme veya güncelleştirme ek yükü

Verilerin ham boyutu

Her vektör genellikle türü Collection(Edm.Single) olan bir alanda tek duyarlıklı kayan nokta sayılarından oluşan bir dizidir.

Vektör veri yapıları, aşağıdaki hesaplamada verilerinizin "ham boyutu" olarak temsil edilen depolama gerektirir. Vektör alanlarınızın vektör dizini boyutu gereksinimlerini tahmin etmek için bu ham boyutu kullanın.

Bir vektörnün boyutsallığı, depolama boyutunu belirler. Ham boyutu elde etmek için bir vektör boyutunu bu vektör alanını içeren belge sayısıyla çarpın:

raw size = (number of documents) * (dimensions of vector field) * (size of data type)

Seçili algoritmadan bellek yükü

Her ANN algoritması, verimli arama yapmak için bellekte ek veri yapıları oluşturur. Bu yapılar bellek içinde fazladan alan tüketir.

HNSW algoritması için bellek yükü, sıkıştırılmamış float32 (Edm.Single) vektörleri için 1% ile 20% arasında değişir.

Boyutsallık arttıkça bellek ek yükü yüzdesi azalır. Bunun nedeni vektörlerin ham boyutunun artması, graf bağlantı bilgilerini depolayan diğer veri yapılarının ise belirli mbir için sabit bir boyut olarak kalmasıdır. Sonuç olarak, bu ek veri yapılarının göreli etkisi genel vektör boyutuna göre azalır.

Bellek yükü, dizin oluşturma sırasında her yeni vektör için oluşturulan çift yönlü bağlantı sayısını belirten HNSW parametresinin mdaha büyük değerleriyle artar. Bunun nedeni, her bağlantının belge başına yaklaşık 8 ila 10 bayt katkıda bulunması ve toplam ek yükün m ile orantılı olarak ölçeklendirilmesidir.

Aşağıdaki tabloda, sıkıştırılmamış vektör alanları için iç testlerde gözlemlenen ek yük yüzdeleri özetlenmiştir :

Bu sonuçlar, HNSW algoritması için boyutlar, HNSW parametresi mve bellek yükü arasındaki ilişkiyi gösterir.

Skaler veya ikili niceleme gibi sıkıştırma tekniklerini kullanan vektör alanlarında ek yük yüzdesi, toplam vektör dizini boyutunun daha büyük bir yüzdesini tüketir gibi görünür. Verilerin boyutu azaldıkça, grafik bağlantı bilgilerini depolamak için kullanılan sabit boyutlu veri yapılarının göreli etkisi daha önemli hale gelir.

Dizin içindeki belgeleri silme veya güncelleştirme ek yükü

Vektör alanı olan bir belge silindiğinde veya güncelleştirildiğinde (güncelleştirmeler dahili olarak silme ve ekleme işlemi olarak gösterilir), temel alınan belge silinmiş olarak işaretlenir ve sonraki sorgular sırasında atlanır. Yeni belgeler dizine eklendikçe ve iç vektör dizini büyüdükçe, sistem bu silinen belgeleri temizler ve kaynakları geri alır. Bu, büyük olasılıkla belgeleri silme ile temel alınan kaynakların serbest kalması arasında bir gecikme gözlemlemeniz anlamına gelir.

Bunu silinen belge oranı olarak adlandırıyoruz. Silinen belge oranı hizmetinizin dizin oluşturma özelliklerine bağlı olduğundan, bu parametreyi tahmin etmek için evrensel bir buluşsal işlem yoktur ve hizmetiniz için geçerli olan oranı döndüren bir API veya betik yoktur. Müşterilerimizin yarısının silinen belge oranının %10'un altında olduğunu gözlemliyoruz. Yüksek sıklıkta silme veya güncelleştirme gerçekleştirme eğilimindeyseniz, daha yüksek bir silinen belge oranı gözlemleyebilirsiniz.

Bu, vektör dizininizin boyutunu etkileyen bir diğer faktördür. Ne yazık ki, geçerli silinen belge oranınızı ortaya çıkaracak bir mekanizmamız yok.

Bellekteki verilerin toplam boyutunu tahmin edin

Daha önce açıklanan faktörleri hesaba katarak vektör dizininizin toplam boyutunu tahmin etmek için aşağıdaki hesaplamayı kullanın:

(raw_size) * (1 + algorithm_overhead (in percent)) * (1 + deleted_docs_ratio (in percent))

Örneğin, raw_size hesaplamak için 1.536 boyuta sahip popüler bir Azure OpenAI modeli text-embedding-ada-002 kullandığınızı varsayalım. Bu, bir belgenin her biri 4 bayt olduğundan Edm.Single 1.536 Edm.Single (float) veya 6.144 bayt tüketeceği anlamına gelir. Tek bir, 1.536 boyutlu vektör alanına sahip 1.000 belge toplamda 1000 belge x 1536 ondalık sayı/belge = 1.536.000 ondalık sayı veya 6.144.000 bayt tüketir.

Birden çok vektör alanınız varsa, dizininizdeki her vektör alanı için bu hesaplamayı yapmanız ve bunların tümünü bir araya eklemeniz gerekir. Örneğin, iki 1.536 boyutlu vektör alanı olan 1.000 belge, 1000 belge x 2 alan x 1536 floats/belge x 4 bayt/float = 12.288.000 bayt tüketmektedir.

Vektör dizini boyutunu elde etmek için bu raw_size'ı algoritma ek yükü ve silinen belge oranı ile çarpın. Seçtiğiniz HNSW parametreleri için algoritma ek yükünüz %10 ve silinen belge oranınız %10 ise şunu elde ederiz: 6.144 MB * (1 + 0.10) * (1 + 0.10) = 7.434 MB.

Vektör alanları disk depolamayı nasıl etkiler?

Bu makalenin çoğu, bellekteki vektörlerin boyutu hakkında bilgi sağlar. Vektör dizinlerinin depolama yükü hakkında bilgi için bkz. İsteğe bağlı vektör örneklerini depolamadan kaldırma.

İlgili içerik

• Azure AI Arama'da vektör araması
• Vektör depolamayı ve işlemeyi iyileştirmek için bir yaklaşım seçin
• Depolama ve ölçüm tutarsızlıklarını giderme