Навык разделения текста

Навык разделения текста разбивает текст на фрагменты. Вы можете указать, хотите ли вы разбить текст на предложения или на страницы определённой длины. Позиционные метаданные, такие как смещение и ординальное положение, также доступны в качестве выходных данных. Этот навык полезен, если существуют требования к максимальной длине текста в других навыках последующих навыков, например, для встраивания навыков, передающих блоки данных для встраивающих моделей в Azure OpenAI и других поставщиков моделей. Для получения дополнительной информации об этом сценарии см. документы Chunk для векторного поиска.

@odata.type

Microsoft.Skills.Text.SplitSkill

Параметры навыков

Параметры чувствительны к регистру.

Входные параметры навыков

Выходные данные навыка

Пример определения

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Пример ввода

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Пример полученных результатов

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

Пример для фрагментирования и векторизации

Этот пример относится к интегрированной векторизации.

• pageOverlapLength: Перекрывающийся текст полезен в сценариях фрагментирования данных , поскольку сохраняет непрерывность между блоками, сгенерированными из одного и того же документа.

• maximumPagesToTake: Ограничения на вход страницы полезны в сценариях векторизации , потому что помогают оставаться в пределах максимальных входных пределов моделей вложения, предоставляющих векторизацию.

Пример определения

Это определение добавляет pageOverlapLength 100 символов и maximumPagesToTake одного.

Если предположить, maximumPageLength что это 5 000 символов (по умолчанию), то "maximumPagesToTake": 1 обрабатывается первые 5 000 символов каждого исходного документа.

В этом примере задаётся textItems через myPagestargetName. Поскольку targetName задано — myPages это значение, которое следует использовать для выбора результата из навыка Разделение текста. Используйте /document/myPages/* навыки на последующих этапах, отображение полевых отображений индексаторов, прогнозы для хранилища знаний и индексные проекции.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

Примерный ввод (тот же, что и в предыдущем примере)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Выход выборки (обратите внимание на пересечение)

Внутри каждого массива «textItems» заканчивающий текст первого элемента копируется в начало второго.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Случаи ошибок

Если язык не поддерживается, генерируется предупреждение.

См. также

• Встроенные навыки
• Как определить набор навыков