Solución de problemas de discrepancias de almacenamiento y métricas en Búsqueda de Azure AI

En este artículo se responden preguntas comunes sobre las métricas de almacenamiento que aparecen incoherentes en Azure Portal, las API REST y los SDK de Azure.

Los valores de almacenamiento de Búsqueda de Azure AI se recopilan periódicamente y es posible que no reflejen el estado en tiempo real. Por lo tanto, se esperan discrepancias a corto plazo en la mayoría de los escenarios.

Para más información sobre cómo se recopilan y notifican las métricas, consulte Supervisión de Búsqueda de Azure AI.

¿Por qué el almacenamiento no cambia inmediatamente al eliminar o actualizar documentos?

Al eliminar documentos, Búsqueda de Azure AI confirma la eliminación inmediatamente, pero la recuperación del almacenamiento físico se produce a través de operaciones de combinación en segundo plano. El documento subyacente se marca como eliminado y omitido durante las consultas posteriores. A medida que se indexan nuevos documentos y crece el índice interno, el sistema limpia los documentos eliminados y reclama los recursos. Esto significa que es probable que observe un retraso entre la eliminación de documentos y los recursos subyacentes que se liberan.

Las actualizaciones de documentos tienen un efecto similar en el almacenamiento. Dado que los documentos son inmutables, una actualización es internamente una operación de eliminación e inserción: la versión anterior se marca como eliminada y se inserta una nueva versión. Hasta que las operaciones de combinación en segundo plano limpien la versión anterior, es posible que observe que el almacenamiento aumenta temporalmente en lugar de permanecer igual.

Estas operaciones de combinación normalmente se completan en un plazo de 24 a 72 horas, en función de la cantidad de carga en el servicio. Si está cerca del límite de almacenamiento del plan de tarifa, tenga en cuenta este aumento temporal al planear actualizaciones a gran escala o reemplazos de documentos.

Para obtener más información, vea Eliminar documentos en un índice de búsqueda y Sobrecarga de eliminar o actualizar documentos dentro del índice.

¿Por qué los valores de portal y API difieren en el mismo momento?

Azure Portal y las API REST pueden informar de valores diferentes porque tienen diferentes cadencias de actualización. Specifically:

• La pestaña Uso de la página Información general del portal se actualiza periódicamente, normalmente cada pocos minutos.
• GET Service Statistics devuelve contadores de nivel de servicio, incluidos storageSize, vectorIndexSizey documentCount.
• GET Index Statistics devuelve contadores por índice.

Las estadísticas de nivel de servicio e índice se recopilan de forma independiente y a intervalos diferentes. Es posible que una instantánea de una superficie no se alinee con una instantánea de la otra si no se capturaron al mismo tiempo. Este comportamiento es normal y no indica un defecto.

Para más información sobre la supervisión de entornos, consulte Supervisión de Búsqueda de Azure AI.

¿Por qué un índice recompilado es mayor que un índice anterior con contenido similar?

Un índice recompilado podría mostrar temporalmente un perfil de almacenamiento diferente porque las operaciones de combinación en segundo plano no han terminado de limpiar las versiones anteriores del documento. En función de la carga del servicio, estas combinaciones suelen tardar entre 24 y 72 horas. Durante este período, el almacenamiento puede aparecer mayor de lo esperado, lo que es especialmente importante tener en cuenta si está cerca del límite de almacenamiento del plan de tarifa. Planee grandes operaciones de recompilación o migración durante períodos de menor actividad de indexación y supervise las métricas de almacenamiento hasta que finalicen las combinaciones.

Incluso después de completar las operaciones de combinación, el tamaño final de un índice recompilado puede diferir ligeramente del original. El tamaño del almacenamiento de índices no es determinista y varios factores afectan al resultado:

• Cambios de esquema, como agregar campos, analizadores o configuraciones vectoriales.
• Patrones de ingesta y actualización que afectan a la relación de documentos eliminados.
• Configuración de optimización de vectores, como la cuantificación o las opciones de reducción de almacenamiento.

Para obtener más información sobre los factores que afectan al tamaño, consulte Tamaño y límites del índice de vectores y Límites de servicio en Búsqueda de Azure AI.

¿Por qué el almacenamiento total no coincide con el tamaño del índice de vector?

storageSize y vectorIndexSize mida diferentes cosas:

• storageSize es la superficie total del disco de un índice, incluido el contenido de todos los tipos de datos, como texto, metadatos y vectores.
• vectorIndexSize es un límite en el tamaño de un índice vectorial cargado en la memoria. Los campos vectoriales que utilizan el algoritmo exhaustivo KNN no consumen la cuota de índice de vectores y reportan cero para vectorIndexSize. Para obtener más información, consulte Límites y tamaño del índice de vectores.

En el disco, el almacenamiento total consumido por vectores podría ser mayor que el tamaño del índice de vectores en memoria, ya que Búsqueda de Azure AI almacena varias copias de campos vectoriales con distintos fines. Para obtener información sobre lo que son estas copias y cómo reducir el consumo de disco, consulte Eliminación de instancias de vector opcionales del almacenamiento.

¿Cómo debo comparar las métricas correctamente?

Para determinar si una discrepancia es real o un artefacto temporal, capture valores de la misma superficie dentro de un período de tiempo UTC coherente.

1. Llame a GET Service Statistics y GET Index Statistics en la misma ventana de cinco minutos.
2. Repita el muestreo en una cadencia fija, como cada 20 a 30 minutos.
3. Compare al menos tres ventanas consecutivas antes de concluir que los valores no coinciden.
4. Evalúe storageSize por separado de vectorIndexSize porque realizan un seguimiento de diferentes estructuras físicas.

¿Cuándo se espera una discrepancia frente a un defecto real?

La mayoría de las discrepancias se esperan y resuelven sin intervención. Si se cumplen los criterios de defecto, abra una solicitud de soporte técnico con la evidencia descrita en la sección siguiente.

Divergencia esperada

• Recientemente ha realizado una gran indexación, actualizaciones o eliminaciones, y los valores siguen convergándose.
• Los valores del portal y de la API difieren, pero la brecha se reduce entre ejemplos repetidos.
• storageSize y vectorIndexSize no coinciden, que es por diseño porque miden diferentes cosas.

Posible defecto

• La discrepancia persiste en al menos tres ventanas de muestreo alineadas durante un período de baja actividad de escritura o eliminación.
• No hay tendencia de convergencia visible a pesar del muestreo repetido.
• Los valores reportados llevan a tomar decisiones operativas incorrectas, como el retraso en el desencadenamiento del escalado automático o fallos en la aplicación de las cuotas.

¿Qué debo incluir en una solicitud de soporte técnico?

Incluya la siguiente información en la solicitud de soporte técnico:

• Marcas de tiempo UTC para cada portal y ejemplo de API.
• Respuestas JSON sin procesar de las estadísticas del servicio GET y las estadísticas de índice GET.
• Volumen aproximado de ingestión, actualización y eliminación durante el período de observación.
• Descripción del impacto operativo, como un retraso de escalado, un bloque de cuota o informes de capacidad incorrectos.

Contenido relacionado

• Supervisión de Búsqueda de Azure AI
• Límites y tamaños del índice vectorial
• Límites de servicio en Búsqueda de Azure AI
• Eliminación de documentos en un índice de búsqueda