Solucionar problemas de discrepâncias de armazenamento e métrica no Pesquisa de IA do Azure 

Este artigo responde a perguntas comuns sobre métricas de armazenamento que parecem inconsistentes no portal do Azure, APIs REST e SDKs do Azure.

Os valores de armazenamento no Pesquisa de IA do Azure  são coletados periodicamente e podem não refletir o estado em tempo real. Portanto, discrepâncias de curto prazo são esperadas na maioria dos cenários.

Para obter informações sobre como as métricas são coletadas e relatadas, consulte Monitorar o Pesquisa de IA do Azure .

Por que o armazenamento não muda imediatamente quando eu excluo ou atualize documentos?

Quando você exclui documentos, Pesquisa de IA do Azure  reconhece a exclusão imediatamente, mas a recuperação de armazenamento físico ocorre por meio de operações de mesclagem em segundo plano. O documento subjacente é marcado como excluído e ignorado durante as consultas subsequentes. À medida que novos documentos são indexados e o índice interno aumenta, o sistema limpa documentos excluídos e recupera os recursos. Isso significa que é provável que você observe um atraso entre a exclusão de documentos e os recursos subjacentes que estão sendo liberados.

As atualizações de documentos têm um efeito semelhante no armazenamento. Como os documentos são imutáveis, uma atualização é internamente uma operação de exclusão e inserção: a versão antiga é marcada como excluída e uma nova versão é inserida. Até que as operações de mesclagem em segundo plano limpem a versão antiga, você poderá observar que o armazenamento aumenta temporariamente em vez de permanecer o mesmo.

Essas operações de mesclagem normalmente são concluídas dentro de 24 a 72 horas, dependendo da quantidade de carga no serviço. Se você estiver perto do limite de armazenamento do tipo de preço, considere esse aumento temporário ao planejar atualizações em larga escala ou substituições de documentos.

Para obter mais informações, consulte Excluir documentos em um índice de pesquisa e Sobrecarga de excluir ou atualizar documentos dentro do índice.

Por que os valores do portal e da API diferem no mesmo ponto no tempo?

O portal do Azure e as APIs REST podem relatar valores diferentes porque têm diferentes cadências de atualização. Especificamente:

• A guia Uso na página Visão Geral do portal é atualizada periodicamente, normalmente a cada poucos minutos.
• GET Service Statistics retorna contadores de nível de serviço, incluindo storageSize, vectorIndexSizee documentCount.
• GET Index Statistics retorna os contadores por índice.

As estatísticas de nível de serviço e de índice são coletadas de forma independente e em intervalos diferentes. Um instantâneo de uma superfície pode não estar alinhado ao de outra se eles não foram capturados ao mesmo tempo. Esse comportamento é normal e não indica um defeito.

Para obter mais informações sobre monitoramento de superfícies, consulte Monitor Pesquisa de IA do Azure .

Por que um índice recriado é maior que um índice mais antigo com conteúdo semelhante?

Um índice recriado pode mostrar temporariamente um perfil de armazenamento diferente porque as operações de mesclagem em segundo plano não terminaram de limpar as versões antigas do documento. Dependendo da carga do serviço, essas mesclagens normalmente levam de 24 a 72 horas. Durante esse período, o armazenamento pode parecer maior do que o esperado, algo especialmente importante de considerar se você estiver perto do limite de armazenamento do seu plano. Planeje grandes operações de recompilação ou migração durante períodos de atividade de indexação mais baixa e monitore as métricas de armazenamento até que as mesclagens sejam concluídas.

Mesmo após a conclusão das operações de mesclagem, o tamanho final de um índice recriado pode ser ligeiramente diferente do original. O tamanho do armazenamento de índice não é determinístico e vários fatores afetam o resultado:

• Alterações de esquema, como adicionar campos, analisadores ou configurações de vetor.
• Padrões de ingestão e atualização que afetam a taxa de documentos excluídos.
• Configurações de otimização de vetor, como opções de redução de quantização ou armazenamento.

Para obter mais informações sobre fatores que afetam o tamanho, consulte o tamanho e os limites do índice vetor e os limites de serviço no Pesquisa de IA do Azure .

Por que o armazenamento total não corresponde ao tamanho do índice de vetor?

storageSize e vectorIndexSize medem coisas diferentes:

• storageSize é o volume total de disco de um índice, incluindo o conteúdo de todos os tipos de dados, como texto, metadados e vetores.
• vectorIndexSize é um limite no tamanho de um índice de vetor carregado na memória. Os campos de vetor que usam o algoritmo KNN exaustivo não consomem a cota de índice de vetor e indicam zero para vectorIndexSize. Para obter mais informações, consulte o tamanho e os limites do índice vetor.

No disco, o armazenamento total consumido pelos vetores pode ser maior do que o tamanho do índice de vetor na memória, pois o Pesquisa de IA do Azure  armazena várias cópias de campos de vetor para diferentes finalidades. Para obter informações sobre o que são essas cópias e como reduzir o consumo de disco, consulte Eliminar instâncias de vetor opcionais do armazenamento.

Como devo comparar as métricas corretamente?

Para determinar se uma discrepância é real ou um artefato de tempo, capture valores da mesma superfície dentro de uma janela de tempo UTC consistente:

1. Ligue para GET Service Statistics e GET Index Statistics no intervalo de cinco minutos.
2. Repita a amostragem em uma cadência fixa, como a cada 20 a 30 minutos.
3. Compare pelo menos três janelas consecutivas antes de concluir que os valores não estão convergindo.
4. Avalie storageSize separadamente de vectorIndexSize porque eles rastreiam estruturas físicas diferentes.

Quando uma discrepância é esperada versus um defeito real?

A maioria das discrepâncias é esperada e resolvida sem intervenção. Se os critérios de defeito forem atendidos, abra uma solicitação de suporte com as evidências descritas na próxima seção.

Divergência esperada

• Recentemente, você executou indexação intensa, atualizações ou exclusões, e os valores ainda estão convergindo.
• Os valores de portal e API diferem, mas a lacuna se restringe entre amostras repetidas.
• storageSize e vectorIndexSize não correspondem, o que é por design porque eles medem coisas diferentes.

Possível defeito

• A discrepância persiste em pelo menos três janelas de amostragem alinhadas durante um período de baixa atividade de gravação ou exclusão.
• Nenhuma tendência de convergência é visível apesar da amostragem repetida.
• Os valores relatados levam a decisões operacionais incorretas, tais como o acionamento atrasado do dimensionamento automático ou falhas na aplicação de cotas.

O que devo incluir em uma solicitação de suporte?

Inclua as seguintes informações em sua solicitação de suporte:

• Carimbos de data/hora UTC para cada portal e amostra de API.
• Respostas JSON brutas das Estatísticas de Serviço GET e das Estatísticas de Índice GET.
• Volume aproximado de ingestão, atualização e exclusão durante o período de observação.
• Descrição do impacto operacional, como um atraso de dimensionamento, um bloco de cotas ou relatórios de capacidade incorretos.

Conteúdo relacionado

• Monitorar a Pesquisa de IA do Azure
• Tamanho e limites do índice vetor
• Limites de serviço no Pesquisa de IA do Azure 
• Excluir documentos em um índice de pesquisa