Umiejętność GenAI Prompt

Note

Wyszukiwanie AI platformy Azure jest dostępna za pośrednictwem portalu Azure, interfejsów API REST i Azure SDKs. Stanowi ona również podstawę IQ rozwiązania Foundry, zarządzanej warstwy wiedzy, która przekształca zawartość przedsiębiorstwa w bazy wiedzy wielokrotnego użytku, uwzględniające uprawnienia dla agentów w portalu Microsoft Foundry.

Ważna

Te funkcje obsługują połączenia z innymi usługami usługi firmy Microsoft i usługami innych firm. Korzystanie z tych usług podlega odpowiednim warunkom i może spowodować przetwarzanie lub przechowywanie danych poza granicą zgodności Azure, a także dane przepływające do granicy zgodności Azure.

Twoim zadaniem jest zarządzanie tym, czy dane będą przepływać poza granicami zgodności i geograficznymi organizacji oraz jakiekolwiek powiązane implikacje oraz że aprowizowane są odpowiednie uprawnienia, granice i zatwierdzenia.

Odpowiadasz za staranne przeglądanie i testowanie aplikacji, które tworzysz w kontekście konkretnych przypadków użycia, oraz podejmowanie wszelkich odpowiednich decyzji i dostosowań. Obejmuje to implementowanie własnych odpowiedzialnych środków zaradczych dotyczących sztucznej inteligencji, takich jak metaprompty, filtry zawartości lub inne systemy bezpieczeństwa oraz zapewnienie, że aplikacje spełniają odpowiednią jakość, niezawodność, bezpieczeństwo i standardy wiarygodności. Aby uzyskać więcej informacji, zobacz Wyszukiwanie AI platformy Azure Transparency Note.

Umiejętność GenAI (Generative AI) Prompt wykonuje żądanie chat completion na dużym modelu językowym (LLM) wdrożonym w Azure OpenAI w Foundry Models lub Microsoft Foundry. Wykorzystaj tę umiejętność do tworzenia nowych informacji, które można indeksować i przechowywać jako treści przeszukiwalne.

Oto kilka przykładów, jak umiejętność generowania promptów GenAI może pomóc Ci tworzyć treści:

  • Ustalizuj obrazy
  • Podsumowanie obszernych fragmentów tekstu
  • Uproszczenie złożonych treści
  • Wykonaj dowolne inne zadanie, które możesz wyrazić w promptie

Umiejętność GenAI Prompt jest zazwyczaj dostępna w API REST REST Search Service 2026-01 oraz w Azure SDKs skierowanych do tej wersji. Ta umiejętność obsługuje tekst, obrazy oraz treści multimodalne, takie jak obrazy z wizualizacjami i tekstem wyodrębnianym z plików PDF.

Wskazówka

Często łączy się tę umiejętność z umiejętnością dzielenia danych. Tutorial multimodalny demonstruje werbalizację obrazów za pomocą dwóch różnych strategii dzielenia danych.

Obsługiwane modele

  • Możesz użyć dowolnego modelu wnioskowania zakończenia czatu wdrożonego w narzędziu Foundry, takich jak modele GPT, DeepSeek-R#, Llama-4-Maverick i Cohere-command-r. W przypadku modeli GPT obsługiwane są tylko endpointy API do kompletacji czatu. Endpointy korzystające z API OpenAI Responses Azure (zawierającego /openai/responses w URI) obecnie nie są kompatybilne.

  • Do werbalizacji obrazów model, którego używasz do analizy obrazu, decyduje, jakie formaty obrazów są obsługiwane.

  • W modelach GPT-5 parametr ten temperature nie jest obsługiwany w taki sam sposób jak w poprzednich modelach. Jeśli jest zdefiniowany, musi być ustawiony na 1.0, ponieważ inne wartości powodują błędy.

  • Rozliczenia opierają się na cenie modelu, którego używasz.

Note

Usługa wyszukiwania łączy się z Twoim modelem przez publiczny punkt końcowy, więc nie ma wymagań dotyczących lokalizacji regionu. Jednak jeśli korzystasz z rozwiązania Azure w całości, powinieneś sprawdzić Wyszukiwanie AI platformy Azure regiony oraz Azure regiony modelowe OpenAI aby znaleźć odpowiednie pary, zwłaszcza jeśli masz wymagania dotyczące rezydencji danych.

Wymagania wstępne

  • Zasób Azure OpenAI w modelach foundry lub Foundry.

  • Wspierany model wdrożony na Twoim zasobu lub projekcie.

    • Dla Azure OpenAI skopiuj endpoint z domeną openai.azure.com ze strony Keys and Endpoint w portalu Azure. Użyj tego końca dla parametru Uri w tej umiejętności.

    • Dla Foundry skopiuj docelowy URI dla wdrożenia ze strony Models w portalu Foundry. Użyj tego końca dla parametru Uri w tej umiejętności.

  • Uwierzytelnianie może być oparte na kluczach za pomocą klucza API z Twojego zasobu Foundry lub Azure OpenAI. Zalecamy jednak dostęp oparty na rolach za pomocą zarządzanej tożsamości przypisanej do roli.

    • Na Azure OpenAI przypisz Cognitive Services OpenAI User do tożsamości zarządzanej.

    • W obszarze Foundry przypisz użytkownika usługi Foundry do tożsamości zarządzanej.

      Ważna

      Ostatnio zmieniono nazwy ról RBAC usługi Foundry. Foundry User, Foundry Owner, właściciel konta Foundry i Foundry Project Manager zostały wcześniej nazwane Azure użytkownikiem sztucznej inteligencji, właścicielem Azure AI, właścicielem konta Azure sztucznej inteligencji i menedżerem Azure AI Project. Poprzednie nazwy mogą być nadal widoczne w niektórych miejscach, podczas gdy zmiana nazwy jest wdrażana. Identyfikatory ról i uprawnienia podstawowe są niezmienione przez zmianę nazwy.

@odata.type

#Microsoft.Skills.Custom.ChatCompletionSkill

Limity danych

Limit Notatki
maxTokens Domyślny to 1024 , jeśli zostanie pominięty. Maksymalna wartość zależy od modelu.
Limit czasu żądania Naprawiona na 30 sekund. Weź pod uwagę ten limit, wybierając model do indeksowania zbiorowego, ponieważ modele rozumowania (takie jak o1 i o3) mogą go przekraczać.
Obrazy Obsługiwane są obrazy i adresy URL zakodowane w bazie 64. Limit rozmiaru zależy od modelu.

Parametry umiejętności

Majątek Typ Obowiązkowy Notatki
uri ciąg Tak Punkt końcowy wdrożonego modelu. Obsługiwane domeny to:

  • openai.azure.com
  • services.ai.azure.com
  • cognitiveservices.azure.com

Obsługiwane są również punkty końcowe Azure API Management, w tym domeny niestandardowe usługi API Management. Aby uzyskać informacje na temat konfiguracji, w tym uwierzytelniania, kontroli dostępu opartej na rolach i opcjonalnej łączności prywatnej, zobacz Użyj Azure API Management z umiejętnościami i wektoryzatorami Azure openAI.

apiKey ciąg Cond.* Tajny klucz do modelu. Zostaw puste pole przy używaniu zarządzanej tożsamości.
authIdentity ciąg Cond.* User-assigned managed identity client ID (Azure tylko OpenAI). Zostaw puste miejsce, aby użyć tożsamości przypisanej przez system.
commonModelParameters obiekt No Standardowe sterowanie generacją, takie jak temperature, maxTokens, itd.
extraParameters obiekt No Słownik otwarty przekazywany do bazowego API modelu.
extraParametersBehavior ciąg No "pass-through" | "drop" | "error" (domyślnie "error").
responseFormat obiekt No Kontroluje, czy model zwraca tekst, wolny obiekt JSON, czy silnie typowany schemat JSON. responseFormat przykłady payloadów: {responseFormat: { type: text }}, {responseFormat: { type: json_object }}, {responseFormat: { type: json_schema }}

* Należy użyć dokładnie jednej z apiKey, authIdentity, lub systemowej tożsamości usługi przypisanej.

commonModelParameters Domyślne ustawienia

Parametr Wartość domyślna
model (ustawienie domyślne wdrożenia)
frequencyPenalty 0
presencePenalty 0
maxTokens 1024
temperature 0.7
seed null
stop null

Dane wejściowe dla umiejętności

Nazwa danych wejściowych Typ Obowiązkowy Description
systemMessage ciąg Tak Instrukcje na poziomie systemu (np. "Jesteś pomocnym asystentem.").
userMessage ciąg Tak Monit użytkownika.
text ciąg No Opcjonalny tekst dołączany do userMessage (scenariusze wyłącznie tekstowe).
image string (podstawowy adres URL danych 64) No Dodaje obraz do promptu (tylko modele multimodalne).
imageDetail struna (low | high | auto) No Wskazówka wierności dla modeli wielomodalnych Azure OpenAI.

Dane wyjściowe umiejętności

Nazwa danych wyjściowych Typ Description
response łańcuch lub obiekt JSON Wyjście modelu w formacie wymaganym przez responseFormat.type.
usageInformation Obiekt JSON Liczba tokenów i echo parametrów modelu.

Przykładowe definicje

Podsumowywanie tylko tekst

{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "name": "Summarizer",
  "description": "Summarizes document content.",
  "context": "/document",
  "inputs": [
    { "name": "text", "source": "/document/content" },
    { "name": "systemMessage", "source": "='You are a concise AI assistant.'" },
    { "name": "userMessage", "source": "='Summarize the following text:'" }
  ],
  "outputs": [ { "name": "response" } ],
  "uri": "https://demo.openai.azure.com/openai/deployments/gpt-4o/chat/completions",
  "apiKey": "<api-key>",
  "commonModelParameters": { "temperature": 0.3 }
}

Tekst + opis obrazu

{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "name": "Image Describer",
  "context": "/document/normalized_images/*",
  "inputs": [
    { "name": "image", "source": "/document/normalized_images/*/data" },
    { "name": "imageDetail", "source": "=high" },
    { "name": "systemMessage", "source": "='You are a useful AI assistant.'" },
    { "name": "userMessage", "source": "='Describe this image:'" }
  ],
  "outputs": [ { "name": "response" } ],
  "uri": "https://demo.openai.azure.com/openai/deployments/gpt-4o/chat/completions",
  "authIdentity": "11111111-2222-3333-4444-555555555555",
  "responseFormat": { "type": "text" }
}

Ustrukturyzowany numeryczny wyszukiwacz faktów

{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "name": "NumericalFactFinder",
  "context": "/document",
  "inputs": [
    { "name": "systemMessage", "source": "='You are an AI assistant that helps people find information.'" },
    { "name": "userMessage", "source": "='Find all the numerical data and put it in the specified fact format.'"}, 
    { "name": "text", "source": "/document/content" }
  ],
  "outputs": [ { "name": "response" } ],
  "uri": "https://demo.openai.azure.com/openai/deployments/gpt-4o/chat/completions",
  "apiKey": "<api-key>",
  "responseFormat": {
    "type": "json_schema",
    "jsonSchemaProperties": {
      "name": "NumericalFactObj",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": "{\"facts\":{\"type\":\"array\",\"items\":{\"type\":\"object\",\"properties\":{\"number\":{\"type\":\"number\"},\"fact\":{\"type\":\"string\"}},\"required\":[\"number\",\"fact\"]}}}",
        "required": [ "facts" ],
        "additionalProperties": false
      }
    }
  }
}

Wyjście próbki (obcięte)

{
  "response": {
    "facts": [
      { "number": 32.0, "fact": "Jordan scored 32 points per game in 1986-87." },
      { "number": 6.0,  "fact": "He won 6 NBA championships." }
    ]
  },
  "usageInformation": {
    "usage": {
      "completion_tokens": 203,
      "prompt_tokens": 248,
      "total_tokens": 451
    }
  }
}

Najlepsze rozwiązania

  • Rozciągaj długie dokumenty za pomocą umiejętności Text Split , aby pozostać w oknie kontekstowym modelu.
  • Dla indeksowania o dużym wolumenie należy zaznaczyć osobne wdrożenie modelu do tej umiejętności, aby kwoty tokenów dla obciążeń RAG w czasie zapytań pozostały niezmienione.
  • Aby zminimalizować opóźnienia, umieść model i usługę Wyszukiwanie AI platformy Azure w tym samym regionie Azure.
  • Użycie responseFormat.json_schema z GPT-4o dla niezawodnej strukturalnej ekstrakcji i łatwiejszego mapowania na pola indeksowe.
  • Monitoruj wykorzystanie tokenów i składaj wnioski o zwiększenie limitu , jeśli indekser przekroczy limity Tokens per Minute (TPM).

Błędy i ostrzeżenia

Warunek Wynik
Brakujące lub nieważne uri Błąd
Nie określono metody uwierzytelniania Błąd
Zarówno jak apiKey i dostarczone authIdentity Błąd
Nieobsługiwany model dla promptu multimodalnego Błąd
Dane wejściowe przekraczają limit tokenów modelu Błąd
Model zwraca nieprawidłowy JSON dla json_schema Ostrzeżenie: Nieprzetworzony ciąg zwrócony w response

Zagadnienia dotyczące zabezpieczeń uwierzytelniania tożsamości zarządzanej

Gdy umiejętność GenAI Prompt używa uwierzytelniania tożsamości zarządzanej, Wyszukiwanie AI platformy Azure uzyskuje token dostępu Microsoft Entra dla odbiorców narzędzi Foundry Tools (https://cognitiveservices.azure.com) i uwzględnia go w żądaniach wysyłanych do punktu końcowego określonego przez uri. Uwierzytelnianie tożsamości zarządzanej ma zastosowanie w przypadku authIdentity ustawienia lub gdy zarówno, apiKey jak i authIdentity są puste, a usługa korzysta z tożsamości przypisanej przez system.

Punkt końcowy, do których odwołuje uri się użytkownik, powinien być twoim własnym zasobem Azure OpenAI lub Foundry. Obsługiwane domeny to:

  • openai.azure.com
  • cognitiveservices.azure.com
  • services.ai.azure.com

Azure API Management (APIM) punktów końcowych (*.azure-api.net) i domen niestandardowych, które frontują te zasoby, są również obsługiwane. Ponieważ nie można zweryfikować nazwy hosta domeny niestandardowej lub nazwy hosta usługi APIM, Wyszukiwanie AI platformy Azure weryfikuje te punkty końcowe przy użyciu kontroli łączności na żywo w czasie konfiguracji, a nie przez dopasowanie domeny. Odpowiadasz za konfigurowanie i utrzymywanie relacji między punktem końcowym a zasobem Azure OpenAI lub Foundry.

Note

Token tożsamości zarządzanej wystawiony dla odbiorców narzędzi Foundry Tools jest prawidłowy dla wszystkich narzędzi Foundry Tools lub Azure zasób OpenAI, na którym jest autoryzowana tożsamość. Wysłanie go do niezaufanego punktu końcowego może uwidocznić token.

Aby ułatwić utrzymanie bezpiecznego wdrożenia, postępuj zgodnie z następującymi rozwiązaniami:

  • Ustaw uri tylko punkty końcowe, których jesteś właścicielem i ufasz. Preferuj domeny narzędzi foundry wymienione wcześniej. Jeśli używasz usługi APIM lub punktu końcowego domeny niestandardowej, przed włączeniem tożsamości zarządzanej upewnij się, że jest on frontem własnego zasobu. Zaufana nazwa hosta nie jest dowodem własności.
  • Zastosuj zasadę najniższych uprawnień do tożsamości zarządzanej używanej przez usługę wyszukiwania:
    • W Azure interfejsie OpenAI przypisz tylko użytkownika openAI usług Cognitive Services.
    • W witrynie Foundry przypisz tylko użytkownika usługi Foundry. Unikaj udzielania szerszych ról.
  • Użyj obwodu zabezpieczeń sieci (NSP) i prywatnych punktów końcowych lub integracji z siecią wirtualną, aby ograniczyć, z których punktów końcowych usługa wyszukiwania może uzyskiwać dostęp i z których źródeł zasób docelowy akceptuje żądania.
  • Jeśli używasz usługi APIM lub punktu końcowego domeny niestandardowej, upewnij się, że brama weryfikuje żądania przychodzące i przekazuje je tylko do zamierzonego zaplecza. Należy również okresowo przeglądać zasady dostępu.
  • Preferuj tożsamość zarządzaną za pośrednictwem apiKey. Jeśli używasz apiKeymetody , zapisz ją i obracaj ją bezpiecznie i nie osadzaj jej w kontroli źródła. Usługa odrzuca konfiguracje, które ustawiają zarówno , jak apiKey i authIdentity.
  • Okresowo przejrzyj definicje zestawu umiejętności, przypisania ról tożsamości zarządzanej oraz konfiguracje usługi APIM i domeny niestandardowej, aby potwierdzić, że uri wartości, mechanizmy kontroli dostępu i uprawnienia tożsamości pozostają aktualne i odpowiednie. Przejrzyj zmiany konfiguracji za pomocą ustanowionych procesów zarządzania zmianami i przeglądu zabezpieczeń.
  • Monitoruj dzienniki logowania Azure OpenAI, Foundry Tools i Foundry, zdarzenia uwierzytelniania i dzienniki dostępu pod kątem nieoczekiwanych lub nieautoryzowanych działań.
  • Usuń nieużywane umiejętności, punkty końcowe, przypisania ról i klucze interfejsu API, które nie są już wymagane.

Ograniczanie dostępu do konfiguracji zestawu umiejętności

Użytkownicy, którzy mogą tworzyć, modyfikować lub uruchamiać zestawy umiejętności, kontrolują zarówno docelowy punkt końcowy (uri), jak i konfigurację uwierzytelniania używaną przez umiejętności. Ponieważ umiejętność wysyła token tożsamości zarządzanej dla odbiorców narzędzi Foundry Tools do tego punktu końcowego, ogranicz te uprawnienia do zaufanych administratorów i postępuj zgodnie ze standardowymi procesami zarządzania zmianami i przeglądu zabezpieczeń podczas konfigurowania umiejętności z obsługą tożsamości zarządzanej.

Zobacz także