Strukturování dat pro projekci do úložiště znalostí

Ve službě Azure AI Vyhledávač, "tvarování dat" popisuje krok v pracovním postupu datového úložiště znalostí, který vytvoří datovou reprezentaci obsahu, který chcete projektovat do tabulek, objektů a souborů ve službě Azure Storage.

Při provádění dovedností se výstupy zapisují do stromu obohacení v hierarchii uzlů a zatímco můžete chtít zobrazit a využívat strom obohacení v celé jeho šíři, je pravděpodobnější, že budete chtít vytvořit jemnější zrnitost a vytvořit podmnožiny uzlů pro různé scénáře, jako je umístění uzlů souvisejících s přeloženým textem nebo extrahovanými entitami v konkrétních tabulkách.

Samotný strom rozšiřování neobsahuje logiku, která by informovala, jak je jeho obsah reprezentován v úložišti znalostí. Obrazce dat vyplňují tuto mezeru tím, že poskytují schéma toho, co jde do každé tabulky, objektu a projekce souboru. Obrazec dat si můžete představit jako vlastní definici nebo zobrazení obohacených dat. Můžete vytvořit tolik obrazců, kolik potřebujete, a pak je přiřadit k projekcím v definici úložiště znalostí.

Přístupy k vytváření obrazců

Obohacovaný obsah můžete tvarovat dvěma způsoby, aby bylo možné ho promítnout do úložiště znalostí:

• Pomocí dovednosti Shaper můžete vytvářet uzly ve stromu obohacení, které se používají výhradně pro projekci. Většina dovedností vytváří nový obsah. Na rozdíl od toho dovednost Shaper funguje s existujícími uzly, obvykle za účelem sloučení několika uzlů do jednoho komplexního objektu. To je užitečné pro tabulky, ve kterých chcete, aby byl výstup více uzlů fyzicky vyjádřený jako sloupce v tabulce.

• Použijte vložený tvar přímo v definici projekce.

Použití dovednosti Shaper externalizuje tvar tak, aby ho bylo možné využít více projekcemi nebo dokonce jinými dovednostmi. Zajišťuje také, že všechny mutace stromu rozšiřování jsou obsaženy v rámci dovednosti a že výstup je objekt, který lze znovu použít. Naproti tomu vložené tvarování umožňuje vytvořit obrazec, který potřebujete, ale je anonymní objekt a je k dispozici pouze pro projekci, pro kterou je definován.

Přístupy je možné používat společně nebo samostatně. Tento článek ukazuje obojí: schopnost Shaper pro projekce tabulek a inline tvarování pomocí klíčových frází projekce tabulek.

Použití dovednosti shaperu

Dovednosti shaperu jsou obvykle umístěny na konci sady dovedností, čímž vytvářejí pohled na data, která chcete předat projekci. Tento příklad vytvoří obrazec s názvem "tableprojection", který obsahuje následující uzly: "reviews_text", "reviews_title", "AzureSearch_DocumentKey" a skóre mínění a klíčové fráze ze stránkovaných recenzí.

{
    "@odata.type": "#Microsoft.Skills.Util.ShaperSkill",
    "name": "#5",
    "description": null,
    "context": "/document",
    "inputs": [        
        {
            "name": "reviews_text",
            "source": "/document/reviews_text",
            "sourceContext": null,
            "inputs": []
        },
        {
            "name": "reviews_title",
            "source": "/document/reviews_title",
            "sourceContext": null,
            "inputs": []
        },
        {
            "name": "AzureSearch_DocumentKey",
            "source": "/document/AzureSearch_DocumentKey",
            "sourceContext": null,
            "inputs": []
        },  
        {
            "name": "pages",
            "source": null,
            "sourceContext": "/document/reviews_text/pages/*",
            "inputs": [
                {
                    "name": "Sentiment",
                    "source": "/document/reviews_text/pages/*/Sentiment",
                    "sourceContext": null,
                    "inputs": []
                },
                {
                    "name": "LanguageCode",
                    "source": "/document/Language",
                    "sourceContext": null,
                    "inputs": []
                },
                {
                    "name": "Page",
                    "source": "/document/reviews_text/pages/*",
                    "sourceContext": null,
                    "inputs": []
                },
                {
                    "name": "keyphrase",
                    "sourceContext": "/document/reviews_text/pages/*/Keyphrases/*",
                    "inputs": [
                        {
                            "source": "/document/reviews_text/pages/*/Keyphrases/*",
                            "name": "Keyphrases"
                        }
                    ]
                }
            ]
        }
    ],
    "outputs": [
        {
            "name": "output",
            "targetName": "tableprojection"
        }
    ]
}

Vlastnost SourceContext

V rámci dovednosti Shaper může vstup obsahovat sourceContext prvek. Stejnou vlastnost lze použít také ve vnitřních obrazcích v projekčním zobrazení.

sourceContext slouží k vytváření víceúrovňových vnořených objektů v rámci obohacovacího potrubí. Pokud je vstup v jiném kontextu než kontext dovednosti, použijte sourceContext. SourceContext vyžaduje, abyste definovali vnořený vstup s konkrétním prvkem, který je adresován jako zdroj.

V předchozím příkladu byla analýza mínění a extrakce klíčových frází provedena u textu, který byl rozdělen na stránky pro efektivnější analýzu. Za předpokladu, že chcete, aby se skóre a fráze promítly do tabulky, budete teď muset nastavit kontext na vnořený vstup, který poskytuje skóre a frázi.

Promítání obrazce do více tabulek

tableprojection S uzlem definovaným v outputs předchozí části můžete části tableprojection uzlu rozdělit do jednotlivých souvisejících tabulek:

"projections": [
    {
        "tables": [
            {
                "tableName": "hotelReviewsDocument",
                "generatedKeyName": "Documentid",
                "source": "/document/tableprojection"
            },
            {
                "tableName": "hotelReviewsPages",
                "generatedKeyName": "Pagesid",
                "source": "/document/tableprojection/pages/*"
            },
            {
                "tableName": "hotelReviewsKeyPhrases",
                "generatedKeyName": "KeyPhrasesid",
                "source": "/document/tableprojection/pages/*/keyphrase/*"
            }
        ]
    }
]

Řádkový tvar pro projekce tabulky

Vložené tvarování je schopnost vytvářet nové obrazce v samotné definici projekce. Vložené tvarování má tyto vlastnosti:

• Obrazec se používá pouze projekcí, která ho obsahuje.
• Obrazec může být shodný s tím, co vytváří dovednost Shaper.

Vložený obrazec je vytvořen pomocí sourceContext a inputs.

Pokud chcete promítnout stejná data jako v předchozím příkladu, bude možnost inline projekce vypadat takto:

"projections": [
    {
        "tables": [
            {
                "tableName": "hotelReviewsInlineDocument",
                "generatedKeyName": "Documentid",
                "sourceContext": "/document",     
                "inputs": [
                    {
                        "name": "reviews_text",
                        "source": "/document/reviews_text"
                    },
                    {
                        "name": "reviews_title",
                        "source": "/document/reviews_title"
                    },
                    {
                        "name": "AzureSearch_DocumentKey",
                        "source": "/document/AzureSearch_DocumentKey"
                    }                             
                ]
            },
            {
                "tableName": "hotelReviewsInlinePages",
                "generatedKeyName": "Pagesid",
                "sourceContext": "/document/reviews_text/pages/*",
                "inputs": [
                        {
                    "name": "Sentiment",
                    "source": "/document/reviews_text/pages/*/Sentiment"
                    },
                    {
                        "name": "LanguageCode",
                        "source": "/document/Language"
                    },
                    {
                        "name": "Page",
                        "source": "/document/reviews_text/pages/*"
                    }
                ]
            },
            {
                "tableName": "hotelReviewsInlineKeyPhrases",
                "generatedKeyName": "KeyPhraseId",
                "sourceContext": "/document/reviews_text/pages/*/Keyphrases/*",
                "inputs": [
                    {
                        "name": "Keyphrases",
                        "source": "/document/reviews_text/pages/*/Keyphrases/*"
                    }
                ]
            }
        ]
    }
]

Jedním z pozorování obou přístupů je způsob, jakým se hodnoty "Keyphrases" promítají pomocí "sourceContext". Uzel "Klíčové fráze", který obsahuje kolekci řetězců, je sám podřízeným prvkem v textu stránky. Vzhledem k tomu, že projekce vyžadují objekt JSON a stránka je primitivní (řetězec), použije se "sourceContext" k zabalení klíčové fráze do objektu s pojmenovanou vlastností. Tato technika umožňuje nezávisle projektovat i primitivy.

Řádkový tvar pro projekce objektů

Nový obrazec můžete vygenerovat pomocí dovednosti Shaper nebo použít průběžné tvarování projekce objektu. I když příklad tabulek demonstroval přístup k vytvoření obrazce a řezání, tento příklad ukazuje použití in-line tvarování.

Přímé tvarování je schopnost vytvořit nový tvar přímo v definici vstupů projekce. Vložené tvarování vytvoří anonymní objekt, který je totožný s tím, co by vytvořila dovednost Shaper (v tomto případě projectionShape). Vložené tvarování je užitečné, pokud definujete obrazec, který neplánujete opakovaně používat.

Vlastnost projekce je pole. Tento příklad přidá do pole novou instanci projekce, kde definice knowledgeStore obsahuje vnořené projekce. Při použití inlinových projekcí můžete vynechat dovednost Shaperu.

"knowledgeStore" : {
    "storageConnectionString": "DefaultEndpointsProtocol=https;AccountName=<Acct Name>;AccountKey=<Acct Key>;",
    "projections": [
            {
            "tables": [ ],
            "objects": [
                {
                    "storageContainer": "sampleobject",
                    "source": null,
                    "generatedKeyName": "myobject",
                    "sourceContext": "/document",
                    "inputs": [
                        {
                            "name": "metadata_storage_name",
                            "source": "/document/metadata_storage_name"
                        },
                        {
                            "name": "metadata_storage_path",
                            "source": "/document/metadata_storage_path"
                        },
                        {
                            "name": "content",
                            "source": "/document/content"
                        },
                        {
                            "name": "keyPhrases",
                            "source": "/document/merged_content/keyphrases/*"
                        },
                        {
                            "name": "entities",
                            "source": "/document/merged_content/entities/*/name"
                        },
                        {
                            "name": "ocrText",
                            "source": "/document/normalized_images/*/text"
                        },
                        {
                            "name": "ocrLayoutText",
                            "source": "/document/normalized_images/*/layoutText"
                        }
                    ]

                }
            ],
            "files": []
        }
    ]
}

Další kroky

Tento článek popisuje koncepty a principy projekčních obrazců. V dalším kroku se dozvíte, jak se používají ve vzorech pro projekce tabulek, objektů a souborů.