Üst-alt dizin oluşturma için dizin projeksiyonu tanımlama

RAG deseni veya vektörleştirme için içerik öbeklediyseniz, kaynak içeriğin (bir) bir veya daha fazla dizine (çok) yansıtıldığı bire çok dizin oluşturmayı denetlemek için bir dizin projeksiyonu belirtebilirsiniz. Dizin projeksiyonunun amacı, dosya adı veya oluşturma tarihi gibi üst belge öğelerinin olup olmadığını denetlemektir:

• Her bir alt öğe (öbek) için, tek bir dizinde tekrarla
• Aynı dizinde tek başına arama belgeleri olarak dizinlenir
• Ya da, ayrı dizinlere işlenir.

Farklı belge yapılarının veya içeriği iki dizine bölmenin özellikle dizinlerde birleştirme desteklenmediği klasik aramalarda sorgulamanın zor olabileceği için ana alanları tek bir dizinde yinelemenizi öneririz.

Azure Yapay Zeka Arama'te, parçalara ayırma işlemi beceriler tarafından yapılır ve bu nedenle dizin oluşturuculara bağlıdır. Dizin projeksiyonu tanımlamak için bunu bir beceri kümesinde belirtin.

Önkoşullar

• Azure Yapay Zeka Arama, herhangi bir katman veya bölge.

• Dizin oluşturucu tabanlı bir dizin oluşturma işlem hattı.

• Öbeklemesini istediğiniz içeriğe sahip desteklenen bir veri kaynağı .

• Dizin oluşturucu işlem hattının çıkışını kabul eden bir dizin (bir veya daha fazla).

• İçeriği parçalayan bir beceri, örneğin Metin Bölme becerisi.

Beceri kümesi, bire çok dizin oluşturma için verilere biçim veren dizinleyici projeksiyonunu içerir. Bir beceri kümesinin, senaryonuz tümleşik vektörleştirme içeriyorsa AzureOpenAIEmbedding gibi ekleme becerileri gibi başka becerileri de olabilir.

Bir yaklaşım seçin

Dizin projeksiyonları, her "üst" belge için "alt" belgeler (öbekler) oluşturur. Üst içeriğin nasıl işleneceğini seçin:

Çoğu RAG senaryosu için ilk yaklaşımı kullanın. Bkz. klasik RAG örneği.

Önerilen yaklaşım için uygulama adımları

1. Ebeveyn alanları içeren öbekler için tasarlanmış bir dizin oluşturun.
2. Bir öbekleme becerisi ve indexProjections içeren bir beceri kümesi oluşturun.
3. Desteklenen veri kaynağınıza işaret eden bir dizin oluşturucu oluşturun.

Veri kaynağınız değişiklik izlemeyi destekliyorsa, dizin oluşturucu değişiklikleri otomatik olarak eşitler.

Birden çoğa dizin oluşturma için dizin oluşturun

İster üst değerleri yineleyen öbekler için bir dizin, ister üst-alt alan yerleşimi için ayrı dizinler oluşturun, arama için kullanılan birincil dizin veri öbekleri etrafında tasarlanmıştır. Dizin şeması aşağıdaki alanlara sahip olmalıdır:

• Her belgeyi benzersiz olarak tanımlayan bir belge anahtarı alanı. Edm.String türü, keyword çözümleyici ile tanımlanmalıdır.

• Her öbeği üst öğesiyle ilişkilendiren bir alan. türünde Edm.Stringolmalıdır. Belge anahtarı alanı olamaz ve filterable 'in true olarak ayarlanmış olması gerekir. Örneklerde parent_id ve bu makalede öngörülen anahtar değeri olarak adlandırılır.

• İçerik için metin veya vektörleştirilmiş öbek alanları gibi diğer alanlar.

Beceri kümesini oluşturmadan veya dizin oluşturucuyu çalıştırmadan önce arama hizmetinde bir dizin bulunmalıdır. selectors Beceri kümesinde tanımladığınız bu alanları içermelidir.

Ana ve alt alanları kapsayan tek dizin şeması

Her öbek için ebeveyn içeriğin tekrarlandığı öbekler etrafında tasarlanan tek bir dizin, RAG ve vektör arama senaryoları için baskın bir desendir. Her öbekle doğru üst içeriği ilişkilendirme özelliği dizin projeksiyonları aracılığıyla etkinleştirilir.

Aşağıdaki şema, dizin projeksiyonları gereksinimlerini karşılayan bir örnektir. Bu örnekte:

• Üst alanlar parent_id ve başlıklardır ve her öbek için yinelenirler
• Alt alanlar vektör ve non-vektör öbekleridir. chunk_id bu dizinin belge kimliğidir.

Azure portalını, REST API'lerini veya Azure SDK kullanarak dizin oluşturabilirsiniz.

{
    "name": "my_consolidated_index",
    "fields": [
        {"name": "chunk_id", "type": "Edm.String", "key": true, "filterable": true, "analyzer": "keyword"},
        {"name": "parent_id", "type": "Edm.String", "filterable": true},
        {"name": "title", "type": "Edm.String", "searchable": true, "filterable": true, "sortable": true, "retrievable": true},
        {"name": "chunk", "type": "Edm.String","searchable": true,"retrievable": true},
        {"name": "chunk_vector", "type": "Collection(Edm.Single)", "searchable": true, "retrievable": false, "stored": false, "dimensions": 1536, "vectorSearchProfile": "hnsw"}
    ],
    "vectorSearch": {
        "algorithms": [{"name": "hnsw", "kind": "hnsw", "hnswParameters": {}}],
        "profiles": [{"name": "hnsw", "algorithm": "hnsw"}]
    }
}

 # Create a search index  
 index_name = "my_consolidated_index"
 index_client = SearchIndexClient(endpoint=AZURE_SEARCH_SERVICE, credential=credential)  
 fields = [
     SearchField(name="document_id", type=SearchFieldDataType.String, key=True, sortable=True, filterable=True, facetable=True, analyzer_name="keyword"),  
     SearchField(name="parent_id", type=SearchFieldDataType.String, filterable=True),  
     SearchField(name="title", type=SearchFieldDataType.String, searchable=True, sortable=False, filterable=True, facetable=False, retrievable=True), 
     SearchField(name="chunk", type=SearchFieldDataType.String, sortable=False, filterable=False, facetable=False, retrievable=True),  
     SearchField(name="chunk_vector", type=SearchFieldDataType.Collection(SearchFieldDataType.Single, searchable=True, retrievable=False), vector_search_dimensions=1024, vector_search_profile_name="myHnswProfile")
     ]  

 # Configure the vector search configuration  
 vector_search = VectorSearch(  
     algorithms=[  
         HnswAlgorithmConfiguration(name="myHnsw"),
     ],  
     profiles=[  
         VectorSearchProfile(  
             name="myHnswProfile",  
             algorithm_configuration_name="myHnsw",  
             vectorizer_name="myOpenAI",  
         )
     ],  
     vectorizers=[  
         AzureOpenAIVectorizer(  
             vectorizer_name="myOpenAI",  
             kind="azureOpenAI",  
             parameters=AzureOpenAIVectorizerParameters(  
                 resource_url=AZURE_OPENAI_ACCOUNT,  
                 deployment_name="text-embedding-3-large",
                 model_name="text-embedding-3-large"
             ),
         ),  
     ], 
 )  

 # Create the search index
 index = SearchIndex(name=index_name, fields=fields, vector_search=vector_search)  
 result = index_client.create_or_update_index(index)  
 print(f"{result.name} created")  

Beceri kümesine dizin projeksiyonları ekleme

Dizin projeksiyonları bir beceri kümesi tanımı içinde tanımlanır ve öncelikle her seçicinin selectorsarama hizmetindeki farklı bir hedef dizine karşılık geldiği dizisi olarak tanımlanır. Bu bölüm söz dizimi ve bağlam örnekleri ve ardından parametre başvurusu ile başlar.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "my_consolidated_index",
            "parentKeyFieldName": "parent_id",
            "sourceContext": "/document/pages/*",
            "mappings": [
                {
                    "name": "chunk",
                    "source": "/document/pages/*",
                    "sourceContext": null,
                    "inputs": []
                },
                {
                    "name": "chunk_vector",
                    "source": "/document/pages/*/chunk_vector",
                    "sourceContext": null,
                    "inputs": []
                },
                {
                    "name": "title",
                    "source": "/document/title",
                    "sourceContext": null,
                    "inputs": []
                }
            ]
        }
    ],
    "parameters": {
        "projectionMode": "skipIndexingParentDocuments"
    }
}

index_projections = SearchIndexerIndexProjection(  
    selectors=[  
        SearchIndexerIndexProjectionSelector(  
            target_index_name=index_name,  
            parent_key_field_name="parent_id",  
            source_context="/document/pages/*",  
            mappings=[  
                InputFieldMappingEntry(name="chunk", source="/document/pages/*"),  
                InputFieldMappingEntry(name="chunk_vector", source="/document/pages/*/chunk_vector"),
                InputFieldMappingEntry(name="title", source="/document/title")
            ],  
        ),  
    ],  
    parameters=SearchIndexerIndexProjectionsParameters(  
        projection_mode=IndexProjectionMode.SKIP_INDEXING_PARENT_DOCUMENTS  
    ),  
) 

Parametre başvurusu

Parametreler, tanımlarının bir parçası olarak aşağıdaki öğelere sahiptir.

Seçiciler tanımlarının bir parçası olarak aşağıdaki öğelere sahiptir.

mappings parametresi önemlidir. Belge anahtarı ve üst kimlik gibi kimlik alanları dışında, alt endeksteki her alanı açıkça belirtmeniz gerekir.

Bu gereksinim, Azure Yapay Zeka Arama'daki diğer alan eşleme kurallarıyla karşıttır. Bazı veri kaynağı türleri için, dizin oluşturucu alanları benzer adlara veya bilinen özelliklere göre örtük olarak eşleyebilir (örneğin, blob dizin oluşturucuları varsayılan belge anahtarı olarak benzersiz meta veri depolama yolunu kullanır). Ancak, dizinleyici projeksiyonları için ilişkinin "çok" tarafındaki her alan eşlemesini açıkça belirtmeniz gerekir.

Alan eşlemelerini gözden geçirme

Dizin oluşturucular üç farklı tür alan eşlemesiyle ilişkilidir. Dizin oluşturucuyu çalıştırmadan önce alan eşlemelerinizi denetleyin ve her türün ne zaman kullanılacağını bilin.

Alan eşlemeleri bir dizin oluşturucuda tanımlanır ve kaynak alanı dizin alanıyla eşlemek için kullanılır. Alan eşlemeleri, verileri kaynaktan kaldıran ve dizin oluşturma için geçiren veri yolları için kullanılır ve ara beceri işleme adımı yoktur. Dizin oluşturucu genellikle aynı ada ve türe sahip alanları otomatik olarak eşleyebilir. Açık alan eşlemeleri yalnızca tutarsızlıklar olduğunda gereklidir. Bire çok dizin oluşturmada ve şimdiye kadar açıklanan desenlerde alan eşlemelerine ihtiyacınız olmayabilir.

Çıktı alanı eşlemeleri bir dizin oluşturucuda tanımlanır ve beceri kümesi tarafından oluşturulan zenginleştirilmiş içeriği bir alanla ana dizine eşlemek için kullanılır. Öbekler, bir beceri tarafından oluşturma (Metin Bölme) nedeniyle zenginleştirilmiş içerik olarak kabul edilir, ancak öbekler veya seçici eşlemesi tarafından tanımlanan dizin projeksiyonları için çıkış alanı eşlemesine ihtiyacınız yoktur.

Selectors.mappings bir beceri kümesinde tanımlanır ve alt dizindeki alanlarla eşlenir. Alt dizinin üst alanları da içerdiği durumlarda ( birleştirilmiş dizin çözümünde olduğu gibi), başlığın öbeklenmiş her belgede gösterilmesini istediğinizi varsayarak, üst düzey başlık alanı da dahil olmak üzere içeriği olan her alan için alan eşlemeleri ayarlamanız gerekir. Ayrı ebeveyn ve çocuk dizinler kullanıyorsanız, seçicinin yalnızca çocuk düzeyindeki alanlar için alan eşlemeleri olmalıdır.

Dizin oluşturucuyu çalıştırma

Bir veri kaynağı, dizinler ve beceri kümesi oluşturduktan sonra dizin oluşturucuyu oluşturmaya ve çalıştırmaya hazır olursunuz. Bu adım işlem hattını çalıştırmaya geçirir.

çözümünüzü test etmek için işlem tamamlandıktan sonra arama dizininizi sorgulayabilirsiniz.

İçerik yaşam döngüsü

Temel alınan veri kaynağına bağlı olarak, dizin oluşturucu genellikle sürekli değişiklik izleme ve silme algılaması sağlayabilir. Bu bölümde, veri yenilemeyle ilgili olarak bire çok dizin oluşturmanın içerik yaşam döngüsü açıklanmaktadır.

Değişiklik izleme ve silme algılaması sağlayan veri kaynakları için, dizin oluşturucu işlemi kaynak verilerinizdeki değişiklikleri alabilir. Dizin oluşturucuyu ve beceri kümesini her çalıştırdığınızda, beceri kümesi veya temel alınan kaynak veriler değiştiyse dizin projeksiyonları güncelleştirilir. Dizinleyici tarafından alınan tüm değişiklikler, zenginleştirme işlemi aracılığıyla dizindeki projeksiyonlara yayılır ve yansıtılan verilerinizin kaynak veri kaynağındaki içeriğin güncel bir yansıması olduğundan emin olur. Veri yenileme etkinliği, her öbek için öngörülen anahtar değerinde yakalanır. Temel alınan veriler değiştiğinde bu değer güncelleştirilir.

Güncelleştirilmiş içerik

Veri kaynağınıza yeni içerik eklerseniz, sonraki dizin oluşturucu çalıştırmasının dizinine yeni öbekler veya alt belgeler eklenir.

Veri kaynağındaki mevcut içeriği değiştirirseniz, kullandığınız veri kaynağı değişiklik izleme ve silme algılamayı destekliyorsa öbekler arama dizininde artımlı olarak güncelleştirilir. Örneğin, belgede bir sözcük veya tümce değişirse, hedef dizinde söz konusu sözcük veya tümceyi içeren öbek sonraki dizin oluşturucu çalıştırmasında güncelleştirilir. Alan türünü ve bazı atıfları değiştirme gibi diğer güncelleştirme türleri mevcut alanlar için desteklenmez. İzin verilen güncelleştirmeler hakkında daha fazla bilgi için bkz. Dizin şemasını güncelleştirme.

Azure Depolama gibi bazı veri kaynakları, zaman damgasına göre değişiklik ve silme izlemeyi varsayılan olarak destekler. Değişiklik izleme için Microsoft OneLake, Azure SQL veya Azure Cosmos DB gibi diğer veri kaynakları yapılandırılmalıdır.

Silinen içerik

Kaynak içerik artık yoksa (örneğin, metin daha az öbek olacak şekilde kısaltılmışsa), arama dizinindeki ilgili alt belge silinir. Geriye kalan alt belgeler, içeriği başka bir şekilde değişmese bile anahtarları yeni bir karma değeri içerecek şekilde güncelleştirilir.

Bir üst belge veri kaynağından tamamen silinirse, ilgili alt belgeler yalnızca silme işlemi veri kaynağı tanımında tanımlanan bir dataDeletionDetectionPolicy tarafından algılanırsa silinir. Yapılandırılmış bir dataDeletionDetectionPolicy belgeniz yoksa ve veri kaynağından bir üst belgeyi silmeniz gerekiyorsa, artık istenmiyorsa alt belgeleri el ile silmeniz gerekir.

Öngörülen anahtar değeri

Güncelleştirilmiş ve silinmiş içerikte veri bütünlüğünü sağlamak için, bire çok dizin oluşturmada veri yenileme işlemi "çok" tarafındaki öngörülen anahtar değerine dayanır. Tümleşik vektörleştirme veya Verileri içeri aktarma sihirbazı kullanıyorsanız, öngörülen anahtar değeri parent_id dizinin öbeklenmiş veya "çok" tarafındaki alandır.

Yansıtılan anahtar değeri, dizin oluşturucunun her belge için oluşturduğu benzersiz bir tanımlayıcıdır. Benzersizlik sağlar ve değişiklik ve silme izlemenin düzgün çalışmasını sağlar. Bu anahtar aşağıdaki kesimleri içerir:

• Benzersizliği garanti etmek için rastgele karma. Ana belge sonraki indeksleyici çalıştırıldığında güncellendiyse bu karma değişir.
• Ana belgenin anahtarı.
• Oluşturulan belgenin bağlamını tanımlayan zenginleştirme açıklama yolu.

Örneğin, anahtar değeri "aa1b22c33" olan bir üst belgeyi dört sayfaya bölerseniz ve bu sayfaların her biri dizin projeksiyonları aracılığıyla kendi belgesi olarak yansıtılırsa:

• aa1b22c33
• aa1b22c33_pages_0
• aa1b22c33_pages_1
• aa1b22c33_pages_2

Üst belge kaynak verilerde güncelleştirilirse ve bu da daha fazla öbeklenmiş sayfaya neden olursa, rastgele karma değişir, daha fazla sayfa eklenir ve her öbek içeriği kaynak belgedekiyle eşleşecek şekilde güncelleştirilir.

Ayrı ebeveyn-çocuk dizinleri örneği

Bu bölümde, ayrı ebeveyn ve çocuk dizinler için bir örnek verilmektedir. Bu yaygın olmayan bir desendir, ancak bu yaklaşım kullanılarak en iyi şekilde karşılanması gereken uygulama gereksinimleriniz olabilir. Bu senaryoda, ebeveyn-çocuk içeriğini iki ayrı dizine aktarıyorsunuz.

1. İki dizin şeması oluşturun.

   Her şemada, arama sorgusunda kullanılmak üzere her iki dizinde de ortak olan üst kimlik alanıyla birlikte belirli bir dilim için alanlar bulunur. Birincil arama kümesi alt dizindir, ancak sonuçtaki her eşleşmenin ebeveyn alanlarını almak için bir arama sorgusu başlatabilirsiniz. Azure Yapay Zeka Arama sorgu zamanında birleştirmeleri desteklemediğinden uygulama kodunuzun veya düzenleme katmanınızın bir uygulamaya veya işleme geçirilebilen sonuçları birleştirmesi veya harmanlaması gerekir.

   Üst dizinin parent_id alanı ve başlığı vardır. parent_id belge anahtarıdır. Alanları üst belge düzeyinde vektörleştirmek istemediğiniz sürece vektör arama yapılandırmasına ihtiyacınız yoktur.

   {
       "name": "my-parent-index",
       "fields": [
   
           {"name": "parent_id", "type": "Edm.String", "key":true, "filterable": true},
           {"name": "title", "type": "Edm.String", "searchable": true, "filterable": true, "sortable": true, "retrievable": true}
       ]
   }
   

   Çocuk dizin, parçalanmış alanların yanı sıra parent_id alanını da içerir. Tümleşik vektörleştirme, puanlama profilleri, anlam dereceleyici veya çözümleyiciler kullanıyorsanız bunları alt dizinde ayarlayabilirsiniz.

   {
       "name": "my-child-index",
       "fields": [
           {"name": "chunk_id", "type": "Edm.String", "key": true, "filterable": true, "analyzer": "keyword"},
           {"name": "parent_id", "type": "Edm.String", "filterable": true},
            {"name": "chunk", "type": "Edm.String","searchable": true,"retrievable": true},
           {"name": "chunk_vector", "type": "Collection(Edm.Single)", "searchable": true, "retrievable": false, "stored": false, "dimensions": 1536, "vectorSearchProfile": "hnsw"}
       ],
       "vectorSearch": {
           "algorithms": [{"name": "hsnw", "kind": "hnsw", "hnswParameters": {}}],
           "profiles": [{"name": "hsnw", "algorithm": "hnsw"}]
       },
       "scoringProfiles": [],
       "semanticConfiguration": [],
       "analyzers": []
   }
   

2. Dizin oluşturucuyu hedef olarak üst dizini belirtmek üzere güncelleştirin.

   Dizin oluşturucu tanımı, işlem hattının bileşenlerini belirtir. Indeksleyici tanımında, belirtilmesi gereken dizin adı üst dizindir. Üst düzey alanlar için alan eşlemelerine ihtiyacınız varsa, bunları outputFieldMappings içinde tanımlayın. Ayrı dizinler kullanan bire çok dizin oluşturma için dizin oluşturucu tanımı aşağıdaki örneğe benzer olabilir.

   {
     "name": "my-indexer",
     "dataSourceName": "my-ds",
     "targetIndexName": "my-parent-index",
     "skillsetName" : "my-skillset",
     "parameters": { },
     "fieldMappings": (optional) Maps fields in the underlying data source to fields in an index,
     "outputFieldMappings" : (required) Maps skill outputs to fields in an index,
   }
   

3. Beceri kümesine indexProjections ekleyin.

   Dizin oluşturucunun içeriği dizine almak için kullanması gereken veri yolunu belirten bir dizin projeksiyon tanımı örneği aşağıda verilmiştir. Dizin projeksiyon tanımında alt dizin adını ve her alt veya öbek düzeyindeki alanın eşlemelerini belirtir. Alt dizin adının belirtildiği tek yer burasıdır.

   Dikkat edin ki parameters null ve varsayılan includeIndexingParentDocuments değerini kullanıyor. Dizin oluşturucu ana dizini doldurur. selectors dizisi, parça belgelerini alt dizine yansıtmak için kullanılır.

   "indexProjections": {
       "selectors": [
           {
               "targetIndexName": "my-child-index",
               "parentKeyFieldName": "parent_id",
               "sourceContext": "/document/pages/*",
               "mappings": [
                   {
                       "name": "chunk",
                       "source": "/document/pages/*",
                       "sourceContext": null,
                       "inputs": []
                   },
                   {
                       "name": "chunk_vector",
                       "source": "/document/pages/*/chunk_vector",
                       "sourceContext": null,
                       "inputs": []
                   }
               ]
           }
       ],
       "parameters": {}
   }
   

4. Dizin oluşturucuyu çalıştırın. Dizin oluşturucuyu daha önce çalıştırdıysanız, önce sıfırlamayı unutmayın.

   Uygun içerikle doldurulmuş iki dizininiz olmalıdır. Her birinin doğru içeriğe sahip olduğunu doğrulamak için Arama Gezgini'nde dizinleri sorgulayın.

Sonraki adım

Veri öbekleme ve bire çok dizin oluşturma, Azure Yapay Zeka Arama klasik RAG deseninin bir parçasıdır. Bu konuda daha fazla bilgi edinmek için aşağıdaki öğreticiye ve kod örneğine geçin.