Dovednost rozdělení textu

Dovednost Text Split rozděluje text na části textu. Můžete si určit, zda chcete text rozdělit na věty nebo na stránky určité délky. Jako výstupy jsou také dostupné polohové metadata jako offset a ordinální pozice. Tato dovednost je užitečná, pokud jsou požadavky na maximální délku textu i u jiných dovedností v budoucnu, například v dovednostech vkládání, které předávají datové bloky do embedding modelů v Azure, OpenAI a dalších poskytovatelích modelů. Pro více informací o tomto scénáři viz Chunk dokumenty pro vektorové vyhledávání.

@odata.type

Microsoft.Skills.Text.SplitSkill

Parametry dovedností

Parametry rozlišují malá a velká písmena.

Vstupy dovedností

Výstupy schopností

Ukázková definice

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Ukázkový vstup

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Ukázkový výstup

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

Příklad pro chunking a vektorizaci

Tento příklad je pro integrovanou vektorizaci.

• pageOverlapLength: Překrývající se text je užitečný v scénářích datového rozdělení , protože zachovává kontinuitu mezi bloky generovanými ze stejného dokumentu.

• maximumPagesToTake: Limity při vstupu stránek jsou užitečné ve scénářích vektorizace , protože pomáhají zůstat pod maximálními vstupními limity embedding modelů, které vektorizaci poskytují.

Ukázková definice

Tato definice přidává pageOverlapLength o 100 znaků a maximumPagesToTake o jedno.

Za předpokladu, že je maximumPageLength 5 000 znaků (výchozí), pak "maximumPagesToTake": 1 zpracují prvních 5 000 znaků každého zdrojového dokumentu.

Tento příklad nastavuje textItems přes myPages .targetName Protože targetName je nastaveno, je to hodnota, myPages kterou byste měli použít k výběru výstupu ze schopnosti Text Split. Použití /document/myPages/* v downstream dovednostech, mapování indexerových výstupních polí, projekce znalostního úložiště a indexové projekce.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

Ukázkový vstup (stejný jako předchozí příklad)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Výstup vzorků (všimněte si překryvu)

V rámci každého pole "textItems" je text z první položky zkopírován na začátek druhé položky.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Chybové případy

Pokud jazyk není podporován, vygeneruje se varování.

Viz také

• Předdefinované dovednosti
• Jak definovat dovednosti