Arquivo 2024 para "Novidades no Azure AI Search"

Confira as novidades no Azure AI Search para obter os anúncios mais recentes.

Mês Tipo Comunicado
Dezembro Template Chat do RAG com o Azure AI Search + Python. Um modelo de aplicativo de IA para criar uma solução RAG usando a Pesquisa de IA do Azure e o Python.
Novembro Segurança Perímetro de segurança de rede. Conecte um serviço de pesquisa a um perímetro de segurança da rede para controlar o acesso ao serviço de pesquisa pela rede. O portal do Azure e as APIs REST de Gerenciamento no 2024-06-01-preview podem ser usados para exibir e reconciliar as configurações de perímetro de segurança da rede.
Novembro Segurança Suporte de link privado compartilhado para conexões de serviço de IA do Azure. As conexões com a IA do Azure para processamento de habilidades internas agora podem ser privadas usando um link privado compartilhado na conexão.
Novembro Relevância Opções de recortação para vetores compactados. Você pode definir opções para pontuar novamente com vetores originais em vez de vetores compactados. Aplica-se a algoritmos de vetor HNSW e KNN exaustivos, usando compactação binária e escalar. Disponível em Criar ou Atualizar Índice (2024-11-01-preview), no portal do Azure e nos pacotes beta do SDK do Azure que fornecem esse recurso.
Novembro Busca em vetores Armazene menos instâncias de vetor. Em cenários de compressão de vetores, você pode omitir o armazenamento de vetores de precisão total se não precisar deles para repontuação. Disponível em Criar ou Atualizar Índice (2024-11-01-preview), no portal do Azure e nos pacotes beta do SDK do Azure que fornecem esse recurso.
Novembro Relevância Reescrita de consulta no reranker semântico. Você pode definir opções em uma consulta semântica para reescrever a entrada de consulta em uma consulta revisada ou expandida que gera resultados mais relevantes do classificador L2. Disponível nos Documentos de Pesquisa (2024-11-01-preview), no portal do Azure e nos pacotes beta do SDK do Azure que fornecem esse recurso.
Novembro Relevância Novos modelos de classificador semântico. O classificador semântico funciona com modelos aprimorados em todas as regiões com suporte. Não há nenhuma alteração nas APIs ou na experiência do portal do Azure.
Novembro IA aplicada (habilidades) Habilidade de Layout de Documento. Uma nova habilidade usada para analisar a estrutura de um documento e fornecer fragmentação (parágrafo) com base na estrutura. Essa habilidade chama o Azure Document Intelligence em Foundry Tools e utiliza o modelo de layout do Azure Document Intelligence. Disponível em regiões selecionadas por meio do Conjunto de Habilidades Criar ou Atualizar (2024-11-01-preview), no portal do Azure e nos pacotes beta do SDK do Azure que fornecem esse recurso.
Novembro IA aplicada (habilidades) Faturamento sem chave para processamento de habilidades de IA do Azure. Agora você pode usar uma identidade gerenciada e funções para uma conexão sem chave com o Foundry Tools para processamento de habilidades internas. Essa funcionalidade remove as restrições para ter ferramentas de busca e Foundry Tools na mesma região. Disponível no Conjunto de Habilidades Criar ou Atualizar (2024-11-01-preview), no portal do Azure e nos pacotes beta do SDK do Azure que fornecem esse recurso.
Novembro Fonte de dados do indexador Modo de análise Markdown. Com esse modo de análise, os indexadores podem gerar documentos de pesquisa um para um ou de um para muitos a partir de arquivos Markdown no Armazenamento do Azure e no Microsoft OneLake. Disponível no Indexador Criar ou Atualizar (2024-11-01-preview), no portal do Azure e nos pacotes beta do SDK do Azure que fornecem esse recurso.
Novembro API 2024-11-01-preview. Versão prévia de APIs REST para reescrita de consultas, habilidade de Layout de Documentos, cobrança sem chave para processamento de habilidades, modo de análise Markdown e opções de repontuação para vetores compactados.
Novembro Característica Suporte do portal para dados estruturados. O assistente Importar e vetorizar dados agora dá suporte ao SQL do Azure, ao Azure Cosmos DB e ao Armazenamento de Tabelas do Azure.
Outubro Característica Reduza os requisitos de dimensão para modelos de inserção de texto treinados por MRL no Azure OpenAI. Text-embedding-3-small e Text-embedding-3-large são treinados usando Matryoshka Representation Learning (MRL). Isso permite que você trunque os vetores de incorporação para menos dimensões e ajuste o equilíbrio entre o uso do tamanho do índice do vetor e a qualidade da recuperação. Uma novidade truncationDimensionna visualização de 01/09/2024 permite acesso à compactação MRL em modelos de incorporação de texto. Isso só pode ser configurado para novos campos vetoriais.
Outubro Característica Descompacte @search.score para visualizar subpontuações em resultados de pesquisa híbrida. Você pode investigar os resultados classificados do Reciprocal Rank Fusion (RRF) visualizando as subpontuações de consulta individuais do resultado final mesclado e pontuado. Uma nova debug propriedade descompacta a pontuação da pesquisa. QueryResultDocumentSubscores, QueryResultDocumentRerankerInput, e QueryResultDocumentSemanticField forneça detalhes extras. Essas definições estão disponíveis em 2024-09-01-preview.
Outubro Característica Filtros de destino em uma pesquisa híbrida apenas para as consultas de vetor. Um filtro em uma consulta híbrida envolve todas as subconsultas na solicitação, independentemente do tipo. Você pode substituir o filtro global para aplicar o filtro a uma subconsulta específica. O novo parâmetro filterOverride está disponível em consultas híbridas usando o 2024-09-01-preview.
Outubro IA aplicada (habilidades) Habilidade de Divisão de Texto (segmentação de tokens). Essa habilidade tem novos parâmetros que melhoram a fragmentação de dados para incorporação de modelos. Um novo parâmetro unit permite que você especifique o agrupamento de tokens. Agora você pode dividir por comprimento de token, definindo o comprimento para um valor que faça sentido para seu modelo de incorporação. Você também pode especificar o tokenizador e quaisquer tokens que não devem ser divididos durante o agrupamento de dados. As novas unit definições de parâmetros e subpontuações de consulta podem ser encontradas na visualização de 2024-09-01.
Outubro API 2024-09-01-preview. Versão prévia de APIs REST para dimensões truncadas em modelos de incorporação de texto 3, filtragem de vetores direcionada para consultas híbridas, detalhes de subpontuação RRF para depuração e agrupamento de tokens para a habilidade Divisão de texto.
Outubro Característica Suporte ao portal para CMK (criptografia de chave gerenciada pelo cliente). Ao criar novos objetos no portal do Azure, agora você pode especificar a criptografia CMK e selecionar um Azure Key Vault para fornecer a chave.
Agosto Característica Melhorias na sessão de depuração. Há duas melhorias importantes. Primeiro, agora você pode depurar cargas de trabalho integradas de vetorização e agrupamento de dados. Em segundo lugar, as Sessões de Debug foram redesenhadas para uma apresentação mais simplificada de funcionalidades e mapeamentos. Você pode selecionar um objeto no fluxo e visualizar ou editar seus detalhes em um painel lateral. O layout anterior com guias foi totalmente substituído por informações mais contextuais na página.
Agosto API 2024-07-01. Versão estável das APIs REST para tipos de dados vetoriais disponíveis, compressão vetorial e vetorização integrada durante a indexação e consultas.
Agosto Característica Vetorização integrada, anunciando disponibilidade geral. Fragmentação e incorporação de dados orientadas por habilidades durante a indexação.
Agosto Característica Vetorizadores. Anunciando disponibilidade geral. Conversão de texto em vetor durante a execução da consulta. Tanto o vetorizador do Serviço OpenAI do Azure quanto o vetorizador API Web personalizado estão disponíveis.
Agosto Característica Habilidade de incorporação do AzureOpenAI. Anunciando disponibilidade geral. Um tipo de habilidade que chama um modelo de incorporação do Azure OpenAI para gerar incorporações durante a indexação.
Agosto Característica Projeções de índice. Anunciando disponibilidade geral. Um componente de uma definição de conjunto de habilidades que define a forma de um índice secundário, dando suporte a um padrão de índice um para muitos, em que o conteúdo de um pipeline de enriquecimento pode ter como alvo vários índices.
Agosto Característica Quantização binária e escalar. Anunciando disponibilidade geral. Compacte o tamanho do índice vetorial na memória e no disco usando a quantização integrada.
Agosto Característica Tipos de dados estreitos. Anunciando disponibilidade geral. Atribua um tipo de dados menor em campos vetoriais, assumindo que os dados recebidos sejam desse tipo de dados.
Agosto Característica Assistente para importar e vetorizar dados. Anunciando disponibilidade geral. Um assistente que cria um pipeline de indexação completo que inclui fragmentação e vetorização de dados. O assistente cria todos os objetos e configurações necessários. Essa versão adiciona suporte ao assistente para o Azure Data Lake no Armazenamento do Microsoft Azure.
Agosto Característica propriedade armazenada. Anunciando disponibilidade geral. Booleano que reduz o armazenamento de índices vetoriais ao deixar de armazenar vetores que podem ser recuperados.
Agosto Característica Propriedade vectorQueries.Weight. Anunciando disponibilidade geral. Especifica o peso relativo de cada consulta em vetores nas operações de pesquisa.
Julho Acelerador Converse com seus dados. Um acelerador de soluções para o padrão RAG em execução no Azure, usando o IA do Azure Search para recuperação e modelos de linguagem grande do Azure OpenAI para criar experiências de pesquisa conversacional. O código com dados de exemplo está disponível para cenários de uso, como consultoria financeira e revisão e sumarização de contratos.
Julho Acelerador Mineração de conhecimento conversacional. Um acelerador de solução criado com base no Azure AI Search, no Azure Speech no Foundry Tools e no Azure OpenAI que permite aos clientes extrair insights acionáveis de conversas pós-atendimento de contact center.
Julho Acelerador Crie seu próprio co-piloto. Crie sua própria solução de copilot personalizado que capacite o Assistente do Cliente a aproveitar o poder da IA generativa em dados estruturados e não estruturados. Ajude nossos clientes a otimizar as tarefas diárias e proporcione melhores interações com mais clientes.
Junho Característica Pesquisa de imagem no portal do Azure. O Gerenciador de Pesquisa agora dá suporte à pesquisa de imagem. Em um índice de vetor que contém conteúdo de imagem vetorizada, você pode soltar imagens no Gerenciador de Pesquisa para consultar uma correspondência.
Maio Limites de serviço Maior capacidade e mais cota de vetor em cada camada (mesma taxa de cobrança). Para a maioria das regiões, os tamanhos de partição agora são ainda maiores para Standard 2 (S2), Standard 3 (S3) e Standard 3 High Density (S3 HD) para todos os serviços criados após 3 de abril de 2024. Para obter as partições maiores, crie um novo serviço em uma região que forneça uma infraestrutura mais recente.

As camadas otimizadas para armazenamento (L1 e L2) também têm mais capacidade. Os clientes dos níveis L1 e L2 precisam criar um novo serviço para usufruir da capacidade aumentada. Não há nenhuma atualização local nesse momento.

A capacidade extra agora está disponível em mais regiões: Alemanha Norte, Alemanha Centro-Oeste, África do Sul Norte, Suíça Oeste e Azure Governo (Texas, Arizona e Virgínia).
Maio Característica Integração do OneLake (versão prévia). Novo indexador para arquivos e atalhos do OneLake. Se você usar o Microsoft OneLake para acesso a dados para fontes de dados do Amazon Web Services (AWS) e do Google, use esse indexador para importar dados externos para um índice de pesquisa. Este indexador está disponível por meio do portal do Azure, da API REST 2024-05-01-preview e dos pacotes beta do SDK do Azure.
Maio Característica Relevância do vetor
relevância da consulta híbrida. Quatro aprimoramentos melhoram a relevância da pesquisa vetorial e híbrida.

Primeiro, agora você pode definir limites nos resultados da busca em vetores para excluir resultados de baixa pontuação.

Em segundo lugar, as alterações na arquitetura de consulta aplicam perfis de pontuação no final do pipeline de consulta para cada tipo de consulta. O aumento de documentos é um perfil de pontuação comum e agora funciona como esperado em consultas vetoriais e híbridas.

Em terceiro lugar, você pode definir MaxTextRecallSize e countAndFacetMode em consultas híbridas para controlar a quantidade de resultados de pesquisa classificados por BM25 que fluem para o modelo de classificação híbrida.

Quarto, para pesquisa vetorial e híbrida, você pode ponderar uma consulta vetorial para aumentar ou diminuir sua importância em uma solicitação de múltiplas consultas.
Maio Característica Suporte a vetores binários. Collection(Edm.Byte) é um novo tipo de dados com suporte. Esse tipo de dados torna acessível a integração aos modelos de inserção binária do Cohere v3 e a compartimentalização binária personalizada. Tipos de dados estreitos reduzem o custo de conjuntos de dados de vetores grandes. Confira Indexar dados binários para a busca em vetores para obter mais informações.
Maio Habilidade Habilidade de inserções multimodal do Azure Vision (versão prévia). Nova habilidade associada à API de inserções multimodal do Azure Vision. Você pode gerar inserções para texto ou imagens durante a indexação. Essa habilidade está disponível pelo portal do Azure e pela API REST 2024-05-01-preview.
Maio Vetorizador Vetorizador da Visão do Azure (versão prévia). O novo vetorizador se conecta a um recurso do Azure Vision usando a API de representações vetoriais multimodal para gerar representações vetoriais durante a consulta. Esse vetorizador está disponível pelo portal do Azure e pela API REST 2024-05-01-preview.
Maio Vetorizador Vetorizador do catálogo de modelos do Microsoft Foundry (versão prévia). O novo vetorizador conecta-se a um modelo de incorporação implantado do catálogo de modelos do Foundry. Esse vetorizador está disponível pelo portal do Azure e pela API REST 2024-05-01-preview.

Como implementar a vetorização integrada usando modelos do Foundry.
Maio Habilidade A habilidade AzureOpenAIEmbedding (versão prévia) dá suporte a mais modelos no Azure OpenAI. Agora oferece suporte a text-embedding-3-large e text-embedding-3-small, além de text-embedding-ada-002 da atualização anterior. Novas propriedades dimensions e modelName possibilitam especificar os vários modelos de inserção no Azure OpenAI. Anteriormente, os limites de dimensões eram fixos em 1.536 dimensões, aplicáveis somente a text-embedding-ada-002. A habilidade atualizada está disponível pelo portal do Azure e pela API REST 2024-05-01-preview.
Maio Portal O assistente de importação e vetorização de dados agora oferece suporte a indexadores OneLake como fonte de dados. Para inserções, ele também dá suporte a conexões com o Azure Vision multimodal, o catálogo de modelos do Foundry e mais modelos de inserção no Azure OpenAI.

Ao adicionar um campo a um índice, você pode escolher um tipo de dados binário.

Gerenciador de Pesquisa agora usa o padrão 2024-05-01-preview e dá suporte aos novos recursos de visualização para consultas híbridas e vetoriais.
Maio API 2024-05-01-preview. A nova versão prévia das APIs REST de Pesquisa fornece novas habilidades e vetores, novo tipo de dados binário, indexador de arquivos do OneLake e novos parâmetros de consulta para resultados mais relevantes. Veja Atualizar APIs REST se você tiver código existente escrito para a versão prévia de 2023-07-01 e precisar migrar para essa versão.
Maio API Pacotes beta do SDK do Azure. Analise os logs de alterações dos seguintes pacotes beta do SDK do Azure para obter suporte a novos recursos: SDK do Azure para Python, SDK do Azure para .NET e SDK do Azure para Java
Maio Samples Exemplos de código do Python. Novos exemplos de ponta a ponta demonstram a integração com o Cohere Embed v3, a integração com o OneLake e as plataformas de dados de nuvem no Google e na AWS e a integração com AS APIs multimodal do Azure Vision.
Abril API Atualização de segurança abordando a divulgação de informações. As respostas GET não retornam mais chaves ou cadeias de conexão. Aplica-se a GET Skillset, GET Index e GET Indexer. Essa alteração ajuda a proteger seus ativos do Azure integrados à Pesquisa de IA contra acesso não autorizado.
Abril API API REST de Pesquisa versão prévia 2024-03-01
Abril API 2024-03-01-visualização API REST de gerenciamento
Abril API 2023-07-01-preview anúncio de descontinuação. Essa versão não tem mais suporte a partir de 8 de julho de 2024. As versões de API mais recentes têm uma configuração de vetores diferente. Você deve migrar para uma versão mais recente assim que possível.
Abril Limites de serviço As camadas Básica e Standard oferecem mais armazenamento por partição, na mesma taxa de cobrança por partição. A capacidade extra está sujeita à disponibilidade regional e se aplica aos novos serviços de pesquisa criados após 3 de abril de 2024. Basic agora dá suporte a até três partições e três réplicas.
Abril Limites de serviço As cotas de vetores são maiores em novos serviços criados após 3 de abril de 2024 em regiões selecionadas.
Abril Característica Quantização de vetor, tipos de dados de vetor estreitos e uma nova stored propriedade (versão prévia). Coletivamente, esses três recursos minimizam o armazenamento e os custos.
Fevereiro Característica Novos limites de dimensão em campos de vetor. Os limites máximos de dimensão estão agora 3072, acima de 2048.
  • Last updated on