Azure OpenAI Assistants API - Image Processing Failure Since November 19, 2024

Question

Azure OpenAI Assistants API - Image Processing Failure Since November 19, 2024

Abdeslam Djemai 0

Problem

Since this morning (November 19, 2024), Azure OpenAI Assistants API fails when processing messages with images. Same code worked perfectly until yesterday with no changes.

Error


status: 'failed'

last_error: LastError(code='server_error', message='Sorry, something went wrong.')

usage: completion_tokens=0, prompt_tokens=0, total_tokens=0

Code (worked until Nov 18, fails since Nov 19)


from openai import AzureOpenAI

client = AzureOpenAI(

    api_version="2024-05-01-preview",

    azure_endpoint="...",

    api_key="..."

)

thread = client.beta.threads.create()

message = client.beta.threads.messages.create(

    thread_id=thread.id,

    role="user",

    content=[

        {'text': 'read label', 'type': 'text'},

        {

            'image_url': {

                'detail': 'high',

                'url': 'https://....png'

            },

            'type': 'image_url'

        }

    ]

)

run = client.beta.threads.runs.create(

    thread_id=thread.id,

    assistant_id="asst_e..."

)

# After wait:

# run.status = 'failed'

# run.last_error = server_error

Tests Done

✅ Text-only messages work fine
❌ Any image (URL or base64) fails with same error
✅ Image URL is publicly accessible (returns 200)

Environment

Model: gpt-4o
API Version: 2024-05-01-preview

What Changed?

❌ No code changes
❌ No library updates
❌ No config changes

Anonyme

2025-11-19T18:01:58.5066667+00:00
Bonjour,Abdeslam Djemai

L'erreur serveur avec completion_tokens=0 et prompt_tokens=0 indique que l'API Assistants n'a jamais atteint l'étape du modèle ; elle a échoué avant le traitement de la requête. Cela se produit généralement lorsque la charge utile contient du contenu non pris en charge ou mal formaté pour la version actuelle de l'API.

Causes fréquentes

Limitations de la gestion des images

Le type image_url est uniquement pris en charge pour les assistants configurés avec un modèle multimodal (par exemple, gpt-4o, gpt-4o-mini).

Si votre assistant_id pointe vers un modèle de texte uniquement, la requête échouera.

Structure du contenu incorrecte

Chaque élément du contenu doit avoir un type valide et des champs correspondants.

Configuration de l'assistant

Assurez-vous que l'assistant a été créé avec :

Un modèle multimodal (gpt-4o ou gpt-4o-mini).

Les outils appropriés sont activés si vous souhaitez une interprétation des images.

Stabilité de l'API en préversion

2024-05-01-preview est encore en préversion ; Une erreur serveur intermittente peut survenir si le serveur dorsal rejette les champs non pris en charge.

Étapes de résolution

Vérifier le modèle d’assistant

assistant = client.beta.assistants.create( model="gpt-4o", # or gpt-4o-mini name="ImageReader" )

message = client.beta.threads.messages.create( thread_id=thread.id, role="user", content=[ {"type": "text", "text": "read label"}, { "type": "image_url", "image_url": {"url": "https://example.com/image.png"} } ] )

Supprimez les détails inutiles ; certaines versions les ignorent.

Consultez les journaux : si l'erreur serveur persiste, examinez le corps de la réponse HTTP pour obtenir des informations supplémentaires (par exemple, un champ non pris en charge).

J'espère que cela vous aidera. N'hésitez pas à me contacter si vous avez d'autres questions.

Merci !
Anonyme

2025-11-20T18:37:32.7+00:00

Bonjour,Abdeslam Djemai

Avez-vous eu l'occasion de consulter la réponse ci-dessus ? Merci !
Anonyme

2025-11-21T16:06:48.7933333+00:00

Bonjour,Abdeslam Djemai

Nous n'avons pas eu de vos nouvelles depuis notre dernier message et nous vous contactons pour savoir si vous avez trouvé une solution. Si c'est le cas, merci de la partager avec la communauté ; cela pourrait être utile à d'autres utilisateurs. Sinon, nous vous répondrons avec plus de détails et nous ferons de notre mieux pour vous aider.

Votre réponse

Anonyme

2025-11-19T18:01:58.5066667+00:00

Bonjour,Abdeslam Djemai

L'erreur serveur avec completion_tokens=0 et prompt_tokens=0 indique que l'API Assistants n'a jamais atteint l'étape du modèle ; elle a échoué avant le traitement de la requête. Cela se produit généralement lorsque la charge utile contient du contenu non pris en charge ou mal formaté pour la version actuelle de l'API.

Causes fréquentes

Limitations de la gestion des images

Le type image_url est uniquement pris en charge pour les assistants configurés avec un modèle multimodal (par exemple, gpt-4o, gpt-4o-mini).

Si votre assistant_id pointe vers un modèle de texte uniquement, la requête échouera.

Structure du contenu incorrecte

Chaque élément du contenu doit avoir un type valide et des champs correspondants.

Configuration de l'assistant

Assurez-vous que l'assistant a été créé avec :

Un modèle multimodal (gpt-4o ou gpt-4o-mini).

Les outils appropriés sont activés si vous souhaitez une interprétation des images.

Stabilité de l'API en préversion

2024-05-01-preview est encore en préversion ; Une erreur serveur intermittente peut survenir si le serveur dorsal rejette les champs non pris en charge.

Étapes de résolution

Vérifier le modèle d’assistant

assistant = client.beta.assistants.create( model="gpt-4o", # or gpt-4o-mini name="ImageReader" )

message = client.beta.threads.messages.create( thread_id=thread.id, role="user", content=[ {"type": "text", "text": "read label"}, { "type": "image_url", "image_url": {"url": "https://example.com/image.png"} } ] )

Supprimez les détails inutiles ; certaines versions les ignorent.

Consultez les journaux : si l'erreur serveur persiste, examinez le corps de la réponse HTTP pour obtenir des informations supplémentaires (par exemple, un champ non pris en charge).

J'espère que cela vous aidera. N'hésitez pas à me contacter si vous avez d'autres questions.

Merci !
Anonyme

2025-11-20T18:37:32.7+00:00

Bonjour,Abdeslam Djemai

Avez-vous eu l'occasion de consulter la réponse ci-dessus ? Merci !
Anonyme

2025-11-21T16:06:48.7933333+00:00

Bonjour,Abdeslam Djemai

Nous n'avons pas eu de vos nouvelles depuis notre dernier message et nous vous contactons pour savoir si vous avez trouvé une solution. Si c'est le cas, merci de la partager avec la communauté ; cela pourrait être utile à d'autres utilisateurs. Sinon, nous vous répondrons avec plus de détails et nous ferons de notre mieux pour vous aider.