Adicionar um filtro a uma consulta de vetor no Pesquisa de IA do Azure 

Em Pesquisa de IA do Azure , você pode usar uma expressão filtro para adicionar critérios de inclusão ou exclusão a uma consulta vector. Você também pode especificar um modo de filtragem que aplica o filtro:

• Antes da execução da consulta, conhecida como pré-filtragem.
• Após a execução da consulta, conhecida como postfiltering.
• Depois que os principais k resultados globais são identificados, conhecido como pós-filtragem estrita (versão prévia).

Este artigo usa REST para ilustração. Para obter exemplos de código em outros idiomas e soluções de ponta a ponta que incluem consultas vetoriais, consulte o repositório do GitHub azure-search-vector-samples.

Você também pode usar Search Explorer no portal Azure para consultar o conteúdo do vetor. No modo de exibição JSON, você pode adicionar filtros e especificar o modo de filtro.

Como a filtragem funciona em consultas vetoriais

A Pesquisa de IA do Azure usa o algoritmo HNSW (Hierarchical Navigable Small World) para pesquisa ANN (Approximate Nearest Neighbor), armazenando grafos HNSW em vários fragmentos. Cada fragmento contém uma parte de todo o índice.

Os filtros se aplicam a filterable campos não vetoriais, cadeia de caracteres ou numéricos, para incluir ou excluir documentos de pesquisa com base em critérios de filtro. Os próprios campos de vetor não são filtrados, mas você pode usar filtros em outros campos no mesmo índice para restringir os documentos considerados para pesquisa de vetor. Se o índice não tiver um texto adequado ou campos numéricos, verifique se há metadados de documento que podem ajudar na filtragem, como LastModified ou CreatedBy propriedades.

O parâmetro vectorFilterMode controla onde as operações de filtro são aplicadas durante os estágios da pesquisa, o que afeta a forma como os resultados são filtrados para um subconjunto de itens (como por categoria, tag ou outros atributos) e impacta a latência, a precisão e a taxa de transferência. Há três modos:

• preFilter aplica o filtro durante a travessia HNSW em cada fragmento. Esse modo maximiza o recall, mas pode percorrer mais do grafo, aumentando a CPU e a latência para filtros altamente seletivos.

• postFilter executa a travessia HNSW e a filtragem em cada fragmento independentemente, cruza os resultados no nível do fragmento e, em seguida, agrega os principais k de cada fragmento em um principal global k. Esse modo pode criar falsos negativos para filtros altamente seletivos ou valores pequenos k .

• strictPostFilter (versão prévia) encontra o principal global não filtrado kantes de aplicar o filtro. Esse modo tem o maior risco de retornar falsos negativos para filtros altamente seletivos e valores pequenos k .

Para obter mais informações sobre esses modos, consulte Definir o modo de filtro.

Definir um filtro

Os filtros determinam o escopo das consultas de vetor e são definidos usando Documentos – Postagem de Pesquisa (API REST). A menos que você queira usar um recurso de visualização, use a versão estável mais recente das APIs REST do Serviço de Pesquisa para formular a solicitação.

Esta API REST fornece:

• filter para os critérios.
• vectorFilterMode para especificar quando o filtro é aplicado durante a consulta de vetor. Para modos com suporte, consulte Definir o modo de filtro.

POST https://{search-endpoint}/indexes/{index-name}/docs/search?api-version={api-version}
Content-Type: application/json
api-key: {admin-api-key}
    
{
    "count": true,
    "select": "title, content, category",
    "filter": "category eq 'Databases'",
    "vectorFilterMode": "preFilter",
    "vectorQueries": [
        {
            "kind": "vector",
            "vector": [
                -0.009154141,
                0.018708462,
                . . . // Trimmed for readability
                -0.02178128,
                -0.00086512347
            ],
            "fields": "contentVector",
            "k": 50
        }
    ]
}

Neste exemplo, a inserção de vetor tem como destino o contentVector campo e os critérios de filtro se aplicam a categoryum campo de texto filtreável. Como o preFilter modo é usado, o filtro é aplicado antes que o mecanismo de pesquisa execute a consulta, portanto, somente documentos na Databases categoria são considerados durante a pesquisa de vetor.

Definir o modo de filtro

O vectorFilterMode parâmetro determina quando e como o filtro é aplicado em relação à execução da consulta vetor. Você pode usar os seguintes modos:

• preFilter (recomendado)
• postFilter
• strictPostFilter (versão prévia)

Tabela de comparação

Teste de benchmark de pré-filtragem e pós-filtragem

Para entender as condições sob as quais um modo de filtro tem um desempenho melhor que o outro, executamos uma série de testes para avaliar os resultados da consulta em índices pequenos, médios e grandes.

• Pequeno (100.000 documentos, índice de 2,5 GB, 1.536 dimensões)
• Médio (1 milhão de documentos, índice de 25 GB, 1.536 dimensões)
• Grande (1 bilhão de documentos, índice de 1,9 TB, 96 dimensões)

Para as cargas de trabalho pequenas e médias, usamos um serviço Standard 2 (S2) com uma partição e uma réplica. Para a carga de trabalho grande, usamos um serviço Standard 3 (S3) com 12 partições e uma réplica.

Os índices tinham uma construção idêntica: um campo de chave, um campo de vetor, um campo de texto e um campo filtre numérico. O índice a seguir é definido usando a 2023-11-01 sintaxe.

def get_index_schema(self, index_name, dimensions):
    return {
        "name": index_name,
        "fields": [
            {"name": "id", "type": "Edm.String", "key": True, "searchable": True},
            {"name": "content_vector", "type": "Collection(Edm.Single)", "dimensions": dimensions,
              "searchable": True, "retrievable": True, "filterable": False, "facetable": False, "sortable": False,
              "vectorSearchProfile": "defaulthnsw"},
            {"name": "text", "type": "Edm.String", "searchable": True, "filterable": False, "retrievable": True,
              "sortable": False, "facetable": False},
            {"name": "score", "type": "Edm.Double", "searchable": False, "filterable": True,
              "retrievable": True, "sortable": True, "facetable": True}
        ],
      "vectorSearch": {
        "algorithms": [
            {
              "name": "defaulthnsw",
              "kind": "hnsw",
              "hnswParameters": { "metric": "euclidean" }
            }
          ],
          "profiles": [
            {
              "name": "defaulthnsw",
              "algorithm": "defaulthnsw"
            }
        ]
      }
    }

Em consultas, usamos um filtro idêntico para operações de pré-filtro e pós-filtro. Usamos um filtro simples para garantir que as variações no desempenho fossem devido ao modo de filtragem, não à complexidade do filtro.

Os resultados foram medidos em consultas por segundo (QPS).

Considerações

• A pré-filtragem é quase sempre mais lenta do que a pós-filtragem, exceto em índices pequenos em que o desempenho é aproximadamente igual.

• Em conjuntos de dados maiores, a pré-filtragem é ordens de magnitude mais lenta.

• Por que o pré-filtro é o padrão se é quase sempre mais lento? A pré-filtragem garante que resultados k sejam retornados se existirem no índice, onde o viés favorece o recall e a precisão em vez da velocidade.

• Usar pós-filtragem se:

  • Priorize a velocidade em vez da seleção (a pós-filtragem pode retornar menos de k resultados).

  • Use filtros que não são excessivamente seletivos.

  • Tenha índices de tamanho suficiente para que o desempenho da pré-filtragem seja inaceitável.

Detalhes

• Dado um conjunto de dados com 100.000 vetores em 1.536 dimensões:

  • Ao filtrar mais de 30% do conjunto de dados, o pré-filtragem e o pós-filtragem eram comparáveis.

  • Ao filtrar menos de 0,1% do conjunto de dados, o pré-filtragem era cerca de 50% mais lento do que o pós-filtragem.

• Dado um conjunto de dados com 1 milhão de vetores em 1.536 dimensões:

  • Ao filtrar mais de 30% do conjunto de dados, o pré-filtragem era cerca de 30% mais lento.

  • Ao filtrar menos de 2% do conjunto de dados, o pré-filtragem era cerca de sete vezes mais lento.

• Dado um conjunto de dados com 1 bilhão de vetores em 96 dimensões:

  • Ao filtrar mais de 5% do conjunto de dados, o pré-filtragem era cerca de 50% mais lento.

  • Ao filtrar menos de 10% do conjunto de dados, o pré-filtragem era cerca de sete vezes mais lento.

O grafo a seguir mostra o QPS relativo do pré-filtro, computado como QPS de pré-filtro dividido pelo QPS do pós-filtro.

O eixo vertical representa o desempenho relativo da pré-filtragem em comparação com o pós-filtragem, expresso como uma taxa de QPS (consultas por segundo). Por exemplo:

• Um valor de 0.0 significa que a pré-filtragem é 100% mais lenta que a pós-filtragem.
• Um valor de 0.5 significa que o pré-filtragem é 50% mais lento.
• Um valor de 1.0 significa que pré-filtragem e pós-filtragem são equivalentes.

O eixo horizontal representa a taxa de filtragem ou o percentual de documentos candidatos após a aplicação do filtro. Por exemplo, uma taxa de 1.00% significa que os critérios de filtro selecionaram um por cento do corpus de pesquisa.

Conteúdo relacionado

• Pesquisa vetorial no Pesquisa de IA do Azure 
• Criar um índice de vetor
• Criar uma consulta de vetor