투명도 메모: Azure AI 검색

AI 보강 은 원시 형식으로 쉽게 검색할 수 없는 콘텐츠를 통해 Foundry Tools의 기계 학습 모델을 적용하는 것입니다. 보강을 통해 분석 및 유추를 사용하여 이전에 존재하지 않았던 검색 가능한 콘텐츠 및 구조를 만듭니다.

AI 보강은 고객의 검색 서비스와 동일한 지역의 Foundry 도구에 연결하는 Azure AI 검색 인덱서 파이프라인의 선택적 확장입니다. 보강 파이프라인에는 일반적인 인덱서(인덱서, 데이터 원본, 인덱스)와 동일한 핵심 구성 요소와 원자성 보강 단계를 지정하는 기술 집합이 있습니다. 비전 및 언어와 같은 Foundry 도구 API 또는 사용자가 제공하는 외부 코드를 실행하는 사용자 지정 기술을 기반으로 하는 기본 제공 기술을 사용하여 기술 집합을 어셈블할 수 있습니다.

벡터 검색은 문서와 쿼리가 일반 텍스트가 아닌 벡터로 인덱스에 표시되는 정보 검색 방법입니다. 벡터 검색에서 Azure AI 검색 외부에서 호스트되는 기계 학습 모델은 텍스트, 이미지, 오디오 또는 비디오 콘텐츠일 수 있는 원본 입력의 벡터 표현을 생성합니다. 벡터 포함이라고 하는 이러한 수학적 및 정규화된 콘텐츠 표현은 검색 시나리오에 대한 일반적인 기초를 제공합니다.

모든 항목이 벡터인 경우 연결된 원본 콘텐츠가 이미지와 텍스트 또는 쿼리와 언어와 같은 다른 미디어 형식에 있더라도 쿼리는 벡터 공간에서 일치 항목을 찾을 수 있습니다. 검색 엔진은 인덱스를 검색하여 쿼리의 벡터와 가장 유사한 벡터 콘텐츠, 즉 가장 가까운 벡터 콘텐츠를 찾습니다. 키워드 대신 수학 벡터 표현에서 일치하면 의미 체계적 의미를 공유하지만 "car" 및 "auto"와 같이 텍스트로 구분되는 일치 항목을 찾을 가능성이 훨씬 더 높습니다. 이렇게 하면 벡터 포함 및 유사성 알고리즘의 작동 방식에 대한 자세한 소개가 있습니다.

주요 용어

의미 체계 순위는 쿼리의 컨텍스트 또는 의미 체계 의미를 사용하여 원래 쿼리의 의도에 가장 가까운 결과를 위쪽으로 승격하는 새 관련성 점수를 계산합니다. 초기 결과 집합은 BM25 순위, 벡터 검색 또는 둘 다 포함된 하이브리드 검색 을 사용하는 키워드 검색에서 나올 수 있습니다. 결과에서 원문 콘텐츠를 추출하여 "캡션"을 생성하고, 중요한 부분을 강조 처리하여 "강조 표시"로 반환합니다. 또한 쿼리에 질문의 특성("물의 동결점이란")이 있고 결과에 답변의 특징이 있는 텍스트("물은 0°C 또는 32°F에서 동결됨")가 포함된 경우 "답변"을 반환할 수 있습니다.

주요 용어

쿼리 다시 쓰기는 BM25 순위, 벡터 검색 또는 하이브리드 검색의 회수(사용 가능한 총 문서 수에서 검색된 관련 문서의 비율)를 개선하기 위해 실제 고객 입력에서 인위적으로 생성되거나 생성된 쿼리인 합성 쿼리를 만듭니다. 원래 쿼리는 가상 쿼리와 결합하여 검색 엔진에서 최적의 회수를 제공합니다.

GenAI 프롬프트 기술은 Azure AI 검색 기술 카탈로그의 일부로, 고객이 데이터를 기반으로 AI 생성 콘텐츠를 사용하여 검색 인덱스를 향상시킬 수 있도록 합니다. 이 기술은 고객의 조직 자체 데이터 및 기본 설정을 사용하여 특정 요구 사항에 맞는 맞춤형 요약, 답변 또는 인사이트를 생성하는 데 도움이 됩니다.

즉, 최종 사용자가 AI Search를 통해 고객의 콘텐츠를 검색할 때 AI에서 생성된 콘텐츠는 더 많은 정보와 컨텍스트 인식 결과를 제공하여 사용자가 찾고 있는 정보를 더 쉽게 찾을 수 있도록 합니다.

주요 용어

에이전트 검색은 LLM(대화형 대규모 언어 모델)을 "쿼리 플래너"로 사용하는 병렬 쿼리 처리 아키텍처입니다. LLM은 필요에 따라 사용자의 대화 기록을 하나 이상의 포커스가 있는 하위 쿼리로 바꿉니다. 이러한 하위 쿼리는 Azure AI 검색 인덱스에 동시에 실행되고 서비스는 상위 결과를 병합하여 반환합니다.

• 가장 관련성이 큰 구절(접지 데이터)을 포함하는 단일 콘텐츠 문자열입니다.
• 전체 원본 문서 또는 청크를 노출하는 참조 배열(선택 사항)입니다.
• 비용 추적 및 디버깅을 지원하기 위해 모든 작업, 토큰 수 및 대기 시간을 나열하는 활동 배열입니다.

주요 용어

시스템 동작

Azure AI 검색에서 AI 보강을 위한 여러 내장된 기술이 Foundry 도구를 활용합니다. 기술 사용을 선택할 때 고려 사항은 아래에 연결된 각 기본 제공 기술에 대한 투명도 메모를 참조하세요.

• 핵심 구 추출 기술: 언어 - 핵심 구 추출
• 언어 감지 기술: 언어 - 언어 감지
• 엔터티 링크 설정 기술: 언어 - 엔터티 링크 설정
• 엔터티 인식 기술: 언어 - 개체명 인식 (NER)
• PII 탐지 기술: 언어 - PII 탐지
• 감정 기술: 언어 - 감정 분석
• 이미지 분석 기술: 비전 - 이미지 분석
• OCR 기술: 비전 - OCR
• 문서 레이아웃 기술: 문서 인텔리전스

통합 및 책임 있는 사용을 위한 각 기능, 제한 사항, 성능, 평가 및 방법에 대해 자세히 알아보려면 각 기술에 대한 설명서를 참조하세요. 이러한 기술을 함께 사용하면 복합 효과가 발생할 수 있습니다(예를 들어 OCR을 사용할 때 발생하는 오류는 핵심 구 추출을 사용할 때 수행됩니다).

사용 사례

예제 사용 사례

Azure AI 검색 전체 텍스트 검색 솔루션이므로 AI 보강의 목적은 구조화되지 않은 콘텐츠의 검색 유틸리티를 개선하는 것입니다. 기본 제공 기술에서 지원하는 콘텐츠 보강 시나리오의 몇 가지 예는 다음과 같습니다.

• 번역 및 언어 검색 을 통해 다국어를 검색할 수 있습니다.
• 엔터티 인식 은 텍스트의 큰 덩어리에서 사람 , 장소 및 기타 엔터티 를 추출합니다.
• 핵심 구 추출 은 중요한 용어를 식별한 다음 출력합니다.
• OCR 은 이진 파일에서 인쇄 및 필기 텍스트를 인식합니다.
• 이미지 분석은 이미지 콘텐츠를 설명하고 설명을 검색 가능한 텍스트 필드로 출력합니다.
• 통합된 벡터화는 Azure OpenAI 임베딩 모델을 호출하여 데이터를 벡터화하고 유사성 검색을 위해 Azure AI 검색에 임베딩을 저장하는 프리뷰 기능입니다.

시스템 동작

벡터 검색에서 검색 엔진은 인덱스의 포함 공간 내에서 벡터를 찾아 쿼리 벡터에 가까운 벡터를 찾습니다. 이 기술을 가장 가까운 인접 검색이라고합니다. 또한 항목 간의 유사성 또는 거리를 정량화하는 데도 도움이 됩니다. 높은 수준의 벡터 유사성은 원래 데이터도 비슷하다는 것을 나타냅니다. Azure AI 검색 지원하는 두 벡터 검색 알고리즘은 대기 시간, 처리량, 회수 및 메모리와 같은 다양한 특성을 거래하면서 이 문제에 대해 서로 다른 접근 방식을 가지고 있습니다.

가장 가까운 "k" 인접 항목의 실제 집합을 찾으려면 입력 벡터를 데이터 세트의 모든 벡터와 완전히 비교해야 합니다. 각 벡터 유사성 계산은 비교적 빠르지만 필요한 비교 수가 많기 때문에 큰 데이터 세트 간에 이러한 철저한 비교를 수행하는 것은 계산 비용이 많이 들고 속도가 느립니다. 또한 각 벡터의 차원이 높을수록 각 벡터에 대한 계산이 더 복잡하고 느려집니다.

이 문제를 해결하기 위해, 근사 최근접 이웃(ANN) 검색을 활용해 회수율을 낮추는 대신 처리 속도를 높입니다. 이러한 메서드는 쿼리 벡터와 유사할 가능성이 가장 높은 작은 후보 벡터 집합을 효율적으로 찾을 수 있으므로 총 벡터 비교 수가 줄어듭니다. Azure AI 검색 HNSW(Hierarchical Navigable Small World) 알고리즘을 사용하여 검색 정확도와 계산 비용 간에 튜닝 가능한 장단점을 허용하면서 빠른 유사성 검색을 가능하게 하는 확률적인 계층적 그래프 구조로 고차원 데이터 요소를 구성합니다.

Azure AI 검색 또한 여러 유사성 메트릭을 지원하여 각 벡터 결과의 가장 가까운 인접 및 점수를 결정합니다. 여기에는 코사인, "유클리드안"("l2 norm"이라고도 함) 및 "점 제품"이 포함됩니다. Cosine은 두 벡터 사이의 각도를 계산합니다. Euclidean은 두 벡터 간의 유클리드 거리를 계산합니다. 이는 두 벡터의 차이에 대한 l2 표준입니다. 점 제품은 벡터의 크기와 그 사이의 각도의 영향을 받습니다. 정규화된 포함 공간의 경우 점 제품은 코사인 유사성과 동일하지만 더 효율적입니다.

사용 사례

예제 사용 사례

벡터 검색이 유용한 많은 시나리오가 있으며 벡터 포함을 생성하는 데 사용되는 모델의 기능에 의해서만 제한됩니다. 다음은 벡터 검색을 사용할 수 있는 몇 가지 일반적인 사용 사례입니다.

• 의미 체계 검색: Azure OpenAI Service 포함 모델 같은 모델을 사용하여 텍스트에서 의미 체계 이해를 추출합니다.
• 다양한 데이터 형식(멀티모달)에서 검색: 이미지, 텍스트, 오디오 및 비디오 또는 혼합에서 제공되는 콘텐츠를 인코딩하고 모든 데이터 형식에서 단일 검색을 수행합니다.
• 다국어 검색: 다국어 포함 모델을 사용하여 문서를 여러 언어로 표시하여 지원되는 언어로 결과를 찾습니다.
• 하이브리드 검색: 벡터 검색은 필드 수준에서 구현됩니다. 즉, 벡터 필드와 검색 가능한 텍스트 필드를 포함하는 쿼리를 작성할 수 있습니다. 쿼리는 병렬로 실행되고 결과는 단일 응답으로 병합됩니다. 의미 체계 순위가 있는 하이브리드 검색 결과가 최상의 질적 결과를 제공하는 것으로 나타났습니다.
• 필터링된 벡터 검색: 쿼리에는 벡터 쿼리 및 필터 식이 포함될 수 있습니다. 다른 데이터 형식에 적용된 필터는 다른 조건에 따라 문서를 포함하거나 제외하는 데 유용합니다.
• 벡터 데이터베이스: 이 순수 벡터 저장소는 장기 메모리 또는 LLM(대규모 언어 모델)에 대한 외부 기술 자료입니다. 예를 들어, 검색 보강 생성(RAG) 애플리케이션을 위해 Azure Machine Learning 프롬프트 흐름에서 Azure AI 검색을 벡터 인덱스로 사용합니다.

사용 사례를 선택할 때 고려 사항

벡터 포함을 생성하도록 선택한 특정 모델과 관련된 고려 사항 및 문제가 있을 수 있습니다. 각 모델에는 편견과 공정성에 대한 자체적인 문제가 있을 수 있으며 애플리케이션에서 사용되기 전에 평가해야 합니다. Azure AI 검색 서비스의 일부로 콘텐츠를 벡터화하는 모델을 제공하지 않습니다. 이러한 고려 사항의 예는 Azure OpenAI Service 투명도 참고 참조하세요. 다른 타사 또는 OSS 모델에는 검토할 자체 고려 사항이 있습니다.

시스템 동작

첫 번째 계층 검색 단계의 결과 순위를 지정하는 것은 리소스를 많이 사용하는 프로세스입니다. 쿼리 작업의 예상 대기 시간 내에서 순위자의 처리를 완료하려면 검색 엔진의 상위 50개 결과만 의미 체계 순위에 입력으로 전송됩니다. 너무 길면 의미 체계 순위를 실행하기 전에 각 결과에서 가장 관련성이 높은 콘텐츠를 추출하는 요약 단계로 50개의 결과가 먼저 전송됩니다.

요약 단계에서 검색된 문서는 먼저 다른 문서 입력을 단일 긴 문자열로 연결하는 준비 프로세스를 통해 수행됩니다. 문자열이 너무 길면 트리밍 연습이 수행되며, 특히 의미 체계 구성에 추가된 필드 내에 포함된 콘텐츠를 유지하는 데 중점을 둡니다. 문자열이 준비되면 컴퓨터 읽기 이해 및 언어 표현 모델을 통해 전달되어 쿼리를 기준으로 가장 적합한 요약을 제공하는 문장과 구를 결정합니다. 이 단계에서는 의미 체계 순위 단계로 전달될 문자열에서 콘텐츠를 추출하고 필요에 따라 의미 체계 캡션 또는 의미 체계 대답을 출력합니다.

마지막 단계인 의미 체계 순위는 사용자의 쿼리에 대한 이전 단계에서 추출된 콘텐츠의 관련성을 결정하고 4(관련성이 높음)에서 0(관련이 없는)에 이르는 의미 체계 순위 점수를 출력합니다. 이 단계는 쿼리 텍스트와 요약된 텍스트를 기반으로 하며 검색 계층보다 더 복잡한 계산을 포함합니다.

사용 사례

예제 사용 사례

의미 체계 순위는 여러 시나리오에서 사용할 수 있습니다. 시스템의 의도된 사용 사례는 다음과 같습니다.

• 검색 증강 세대(Retrieval Augmented Generation, RAG): 의미 순위매기기를 사용하면, 사용자가 정의한 관련성 점수 임계값을 충족하는 검색 결과만을 선별하여 생성 AI 애플리케이션의 응답 기준으로 활용할 수 있습니다. 예를 들어, 귀하의 데이터를 기반으로 하는 Azure OpenAI 서비스는 Azure AI 검색를 사용하여 Azure OpenAI 모델을 보강합니다. 이 서비스 내에서 의미 체계 순위를 사용하여 Azure OpenAI 모델에 공급되는 정보의 관련성을 향상시킬 수 있습니다.
• 콘텐츠 검색: 의미 체계 순위를 사용하면 텍스트 및 메타데이터를 분석하여 데이터 내에서 관련 콘텐츠를 검색할 수 있습니다. 예를 들어 learn.microsoft.com 웹사이트에서 검색할 때 의미 체계 순위자를 사용하여 Microsoft 기술 문서를 찾는 소프트웨어 개발자의 검색 관련성을 향상시킵니다.
• 전자 상거래 검색: 의미 체계 순위는 의미 체계 관련성에 따라 관련 제품 결과를 제공하여 전자 상거래 비즈니스가 검색 환경을 향상시킬 수 있도록 합니다. 예를 들어 온라인 소매업체는 의미 체계 순위자를 사용하여 온라인 쇼핑객에게 관련 검색 결과를 제공하여 전자 상거래 환경을 최적화합니다.
• QnA: Azure AI 검색 조직에서는 데이터베이스에서 사용할 수 있는 정보를 기반으로 질문에 답변하여 사용자에게 대화형 환경을 제공할 수 있습니다. 예를 들어 제조업체는 의미 체계 순위자를 사용하여 챗봇에서 사용할 수 있는 정보를 보강할 수 있습니다. 엔지니어는 이 챗봇을 사용하여 질문을 하고 검색된 문서 내에서 쿼리 및 즉각적인 답변과 관련된 관련성이 높은 내부 문서를 검색할 수 있습니다.

사용 사례를 선택할 때 고려 사항

고객이 혁신적인 솔루션 또는 애플리케이션에서 의미 체계 순위자를 사용하는 것이 좋습니다. 그러나 사용 사례를 선택할 때 몇 가지 고려 사항은 다음과 같습니다.

• 중요한 정보 : 의미 체계 순위 매기기를 사용하도록 설정하는 기계 학습 모델은 개인 정보 및 재무 정보와 같은 중요한 정보를 포함하여 검색 쿼리에서 검색된 데이터를 처리합니다. 이러한 사용 사례에 대한 의미 체계 순위를 구현하기 전에 개인 정보 보호 및 보안에 미치는 영향을 고려합니다.
• 바이어스 및 공정성 : 의미 체계 순위는 딥 러닝 모델에 의해 구동됩니다. 이러한 딥 러닝 모델은 공용 콘텐츠를 사용하여 학습되었습니다. 고객 데이터는 의미 체계 순위 모델에 의해 점수가 매겨집니다. 사용 사례를 선택할 때, 특히 채용 및 채용과 같은 공정성 및 형평성에 영향을 미치는 사용 사례의 경우 의미 체계 순위의 출력을 평가합니다.
• 규정 준수: 의료 및 금융과 같은 일부 산업은 높은 규제를 받고 있으며 AI 및 기계 학습 사용에 제한이 있을 수 있습니다. 이러한 산업에서 의미 체계 순위를 사용하기 전에 솔루션이 관련 규정 및 지침을 준수하는지 확인합니다.

시스템 동작

원래 쿼리는 Azure AI 검색에서 호스팅되는 세밀하게 조정된 SLM(소형 언어 모델)로 전송됩니다. 이 모델은 공용 콘텐츠를 사용하여 학습되었습니다. SLM은 원래 쿼리를 가상 쿼리 집합으로 변환합니다. 이러한 합성 쿼리는 원래 쿼리의 의도에 의미상 가깝지만 검색 엔진에서 회수를 개선하기 위한 다른 용어 집합을 포함합니다.

그러면 가상 쿼리가 원래 쿼리와 결합되어 검색 엔진으로 전송됩니다. BM25 순위를 수행하면 가상 쿼리의 키 용어가 원래 쿼리와 결합됩니다. 벡터 검색을 수행하는 경우 원래 쿼리는 벡터 포함 단계 전에 가상 쿼리와 연결됩니다.

사용 사례

예제 사용 사례

쿼리 다시 쓰기는 여러 시나리오에서 사용할 수 있습니다. 쿼리를 다시 작성하려면 의미 체계 순위 관리자를 사용해야 합니다.

• 데이터와의 채팅 상호 작용: 쿼리 다시 작성을 사용하면 사용자가 정의한 관련성 점수 임계값을 충족하는 관련 검색 결과에서 생성 AI 애플리케이션의 응답을 접지할 수 있습니다. 예를 들어, Azure OpenAI Service는 귀하의 데이터를 사용하여 Azure AI 검색를 통해 Azure OpenAI 모델을 보강합니다. 이 서비스 내에서 쿼리 다시 쓰기를 사용하여 Azure OpenAI 모델에 공급된 정보의 결과 관련성을 향상시킬 수 있습니다.
• 컨버전 질문 및 답변(QnA): Azure AI 검색 조직에서는 데이터베이스에서 사용할 수 있는 정보를 기반으로 질문에 답변하여 사용자에게 대화형 환경을 제공할 수 있습니다. 예를 들어 제조업체는 의미 체계 순위자를 사용하여 챗봇에서 사용할 수 있는 정보를 보강할 수 있습니다. 엔지니어는 이 챗봇을 사용하여 질문을 하고 검색된 문서 내에서 쿼리 및 즉각적인 답변과 관련된 관련성이 높은 내부 문서를 검색할 수 있습니다.

사용 사례를 선택할 때 고려 사항

고객은 혁신적인 솔루션 또는 애플리케이션에서 쿼리 재작성을 사용하는 것이 좋습니다. 그러나 사용 사례를 선택할 때 몇 가지 고려 사항은 다음과 같습니다.

• 중요한 정보 및 PII: 쿼리 재작성을 가능하게 하는 미세 조정된 SLM은 중요한 정보를 포함할 수 있는 검색 쿼리를 처리합니다. 이러한 사용 사례에 대한 쿼리 다시 쓰기를 구현하기 전에 개인 정보 보호 및 보안에 미치는 영향을 고려합니다.
• 무의식적 편견을 줄이기 위해 개인 정보를 수정합니다. 예를 들어 회사의 이력서 검토 과정에서 후보자의 이름, 주소 또는 전화 번호를 차단하여 검색 중에 무의식적인 성별 또는 기타 편견을 줄이는 데 도움이 될 수 있습니다.
• 법률 및 규제 고려 사항. 조직은 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 AI Search를 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 제한 사항은 지역 또는 지역 규제 요구 사항에 따라 달라질 수 있습니다. 또한 AI Search는 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용할 수 없습니다.

GenAI 프롬프트 기술을 사용하면 고객이 자신의 데이터 원본에 있는 문서 콘텐츠와 사용자 지정 프롬프트를 Microsoft Foundry에서 호스팅되는 소유한 언어 모델에 전달할 수 있습니다. 언어 모델은 입력을 처리하고 보강된 콘텐츠를 반환한 다음, 원본 문서 콘텐츠와 함께 검색 인덱스로 수집됩니다. 이 프로세스를 통해 고객 정의 기준에 따라 AI 생성 요약, 이미지 캡션 및 엔터티 추출을 통해 검색 인덱스를 확대할 수 있습니다.

다음 예제에서는 GenAI 프롬프트 기술의 작동 방식을 보여 줍니다.

제로샷 티켓 요약

목표: 지원 에이전트가 몇 초 안에 여러 페이지의 전자 메일 스레드를 빠르게 훑어볼 수 있도록 합니다.

작동 방식:

• 인덱싱하는 동안 모든 긴 티켓 대화는 논리적 세그먼트(초기 요청, 후속 질문, 진단 로그 등)로 나뉩니다.
• 각 세그먼트에 대해 언어 모델은 "이 섹션을 세 개의 선명한 문장으로 요약"하도록 지시됩니다.
• 결과 추상은 검색 중에 원시 텍스트를 대체하여, 에이전트와 다운스트림 RAG 파이프라인이 요약된 핵심 내용만을 보게 됩니다.

도움이 되는 이유: 간결하고 세그먼트 수준 요약은 프롬프트 크기를 줄이고, 응답 생성을 가속화하며, 에이전트가 고객의 핵심 문제에 집중할 수 있도록 지원합니다.

퓨샷 엔터티 추출

목표: "오류 500으로 Product X가 충돌한 모든 티켓을 보여줘"와 같은 쿼리를 지원합니다.

작동 방식

• 티켓의 전체 텍스트와 함께 원하는 출력 형식(제품명, 오류 코드, 운영 체제, 심각도 등의 주요 엔터티 목록)을 보여주는 예시 하나가 기술로 전송됩니다.
• 모델은 모든 발생을 추출합니다: 제품, 오류 코드, 플랫폼, 심각도.
• 이 구조화된 목록은 문서와 함께 저장되며, 예를 들어 iOS에서 심각도가 높은 모든 크래시가 발생하는 즉시 필터를 사용할 수 있습니다.

도움이 되는 이유: 사전 계산된 엔터티는 자유형 고객 메시지를 필터링 가능한 데이터로 전환하여 팀 리더들이 패턴을 발견하고 수작업 분석 없이 문제 해결의 우선 순위를 정할 수 있도록 합니다.

일회성 티켓 라우팅 분류

목표: 각 티켓을 올바른 큐로 자동으로 배정합니다.

작동 방식:

• 각 티켓은 청구, 기술 문제, 계정 액세스, 기능 요청 및 일반 피드백의 5가지 지원 범주와 하나의 참조 예제("예: 티켓 → 청구")를 나열하는 프롬프트로 분석됩니다.
• 모델은 위의 5개 지원 범주에 따라 AI Search 시스템에 입력되는 모든 티켓에 정확히 하나의 레이블을 할당합니다.
• 헬프 데스크 시스템은 레이블을 활용해 청구 관련 문의는 재무 전문가에게, 기술적인 문제는 엔지니어에게 전달하는 등의 작업을 수행합니다.

도움이 되는 이유: 빠르고 일관된 레이블 지정을 통해 티켓의 잘못된 라우팅을 줄이고, 처리 시간을 단축하며, 고객 만족도를 향상시킵니다.

사고의 흐름 해결책 제안

목표: 문제를 해결하기 위한 단일 최상의 다음 단계를 지원 에이전트에 제공합니다.

작동 방식

• 전체 티켓 또는 가장 최근의 고객 메시지는 언어 모델에 전달됩니다.
• 사용자 메시지는 시스템 프롬프트 후 모델에 지시합니다. "내부적으로 단계별로 생각하지만 권장되는 다음 작업만 출력합니다."
• 반환된 지침은 "고객에게 캐시를 지우고 버전 3.2.1을 다시 설치하도록 요청"할 수 있습니다.
• 에이전트는 응답하기 전에 제안을 직접 복사하거나 구체화할 수 있습니다.

도움이 되는 이유: 에이전트는 모델의 프라이빗 추론 체인 없이 실행 가능한 권장 사항을 수신하여 문제 해결 단계를 간결하고 관련성 있게 유지하면서 시간을 절약합니다. 경우에 따라 지원 에이전트가 불필요한 정보로 넘쳐나지 않습니다.

사용 사례

예제 사용 사례

GenAI 프롬프트 기술은 Azure AI 검색 내에서 데이터 보강을 향상시켜 응답 관련성이 사용자 의도 및 기대에 부합하도록 지원합니다. 이 기술은 AI 생성 콘텐츠를 검색 인덱스에 통합하여 보다 정확하고 상황에 맞는 검색 결과를 가능하게 합니다. 주요 애플리케이션은 다음과 같습니다.

• 더 빠른 정보 검색을 용이하게 하기 위해 긴 문서의 간결한 요약 생성: 법률 회사는 광범위한 계약을 처리하고 GenAI 프롬프트 기술을 사용하여 키 절을 강조하는 간단한 요약을 만들어 변호사가 전체 문서를 읽지 않고도 필수 정보를 더 쉽게 검토할 수 있도록 합니다.
• 검색 기능 및 접근성을 개선하기 위해 이미지에 대한 텍스트 설명 만들기: 미디어 회사는 방대한 이미지 라이브러리를 관리합니다. GenAI 프롬프트 기술을 적용하여 각 이미지에 대한 설명 캡션을 생성하여 디지털 자산 관리 시스템 내에서 효율적인 검색 및 조직을 가능하게 합니다.
• 사용자 지정 기준에 따라 문서에서 특정 엔터티 또는 팩트 식별 및 추출: 연구 기관은 과학 논문을 분석하여 화학 화합물 및 해당 속성에 대한 언급을 추출합니다. GenAI 프롬프트 기술은 이 추출을 자동화하여 연구원이 관련 데이터에 신속하게 액세스할 수 있도록 구조화된 데이터베이스를 채웁니다.
• 더 나은 조직 및 검색을 위해 문서를 정의된 범주로 분류: 보험 회사는 매일 다양한 유형의 문서를 받습니다. GenAI 프롬프트 기술을 사용하여 이러한 문서를 클레임, 정책 업데이트 및 고객 피드백과 같은 범주로 자동으로 분류합니다. 이렇게 하면 문서 관리 프로세스가 간소화되고 필요할 때 특정 문서를 더 쉽게 찾을 수 있습니다.

이러한 애플리케이션은 일반적인 애플리케이션이지만, 이 기술은 유연하므로 고객이 고유한 요구 사항에 맞는 프롬프트를 정의할 수 있습니다.

사용 사례를 선택할 때 고려 사항

콘텐츠, 프롬프트 및 언어 모델 배포는 전적으로 고객 관리형 리소스라는 점에 유의해야 합니다. Foundry는 모델 배포를 위한 콘텐츠 안전 필터를 지원하며, 고객은 필요에 따라 이러한 필터를 구성할 책임이 있습니다. Foundry에서 사용할 수 있는 구성 외에도 Azure AI 검색 GenAI 프롬프트 기술 내에서 추가 콘텐츠 안전 필터를 적용하지 않습니다.

GenAI 프롬프트 기술을 구현할 때 다음을 고려합니다.

• 특히 정보 안정성에 영향을 미칠 수 있는 프롬프트 변환을 적용할 때 AI 생성 콘텐츠의 사용자 검토를 위한 프로세스를 구현합니다. 본격적인 배포 전에 Azure AI 검색 디버그 세션 도구를 활용하여 샘플 문서에 대한 프롬프트를 테스트합니다.
• 시스템의 사용 또는 오용으로 인해 개인에게 심각한 신체적 또는 심리적 상해가 발생할 수 있는 시나리오를 방지합니다. 예를 들어, 환자를 진단하거나 약물을 처방하는 시나리오는 심각한 해를 입힐 가능성이 있습니다. 의미 있는 사용자 검토 및 감독을 시나리오에 통합하면 유해한 결과의 위험을 줄이는 데 도움이 될 수 있습니다.
• 모든 생성 사용 사례를 신중하게 고려합니다. 콘텐츠 생성 시나리오는 의도하지 않은 출력을 생성할 가능성이 더 높으며 이러한 시나리오에서는 신중하게 고려하고 완화해야 합니다.
• 법률 및 규제 고려 사항. 조직은 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 AI Search를 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 제한 사항은 지역 또는 지역 규제 요구 사항에 따라 달라질 수 있습니다. 또한 AI Search는 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용할 수 없습니다.

시스템 동작

원래 대화 또는 검색 쿼리는 고객의 소유 Azure OpenAI 모델로 전송되어 쿼리 계획 단계를 실행합니다. 쿼리 계획은 대화를 수정된 맞춤법 및 확장된 동의어로 사용자의 기본 의도를 반영하는 일련의 최적화된 하위 쿼리로 나눕니다. 그런 다음 Azure AI 검색 전체 검색 검색 시스템에서 모든 하위 쿼리를 한 번에 처리합니다. 하위 쿼리는 먼저 키워드 검색과 벡터 검색의 하이브리드 조합 으로 처리됩니다. 키워드 검색 은 하위 쿼리와 비슷한 키워드를 사용하여 검색 인덱스의 문서를 찾습니다. 벡터 검색 은 검색 인덱스에 다른 키워드가 있을 수 있지만 하위 쿼리와 유사한 기본 의미를 갖는 문서를 찾습니다. 그런 다음, 이 하이브리드 검색의 결과는 의미 체계 순위에 따라 순위가 다시 지정되어 하위 쿼리의 의도와 가장 일치하는 문서를 찾습니다. 그런 다음 서비스는 최종 응답을 다시 보내기 전에 최대 출력 길이와 같은 응답 제한을 적용하여 순위가 지정된 결과에서 중복 항목을 병합하고 제거합니다.

사용 사례

예제 사용 사례

• 사용자 지정 챗봇을 위한 데이터 구축 챗봇을 회사의 공식 HR 정책 및 직원 핸드북에 연결하여 누군가가 "휴가 일 수를 구할 수 있나요?"라고 묻자 챗봇은 추측하지 않고 해당 문서에서 바로 답변을 가져옵니다.
• 엔터프라이즈 지식 도우미가 사용자 컨텍스트, 필터 및 채팅 기록을 존중하도록 합니다. 예를 들어 직원이 특정 기간의 목표에 대해 묻는 경우 도우미는 자신의 역할, 현재 필터(예: 지역: 미국) 및 진행 중인 대화(예: 마지막 항목은 "Q2 파이프라인")를 사용하여 개인 설정된 응답을 생성합니다.
• 단일 키워드 쿼리의 회수량이 낮은 복잡한 정보 검색 작업을 처리합니다. 이러한 작업에는 문제 해결 가이드, 의학 문헌 연구 또는 제품 비교가 포함될 수 있습니다. 예를 들어 기술자가 단순히 "디바이스 오류"를 검색하고 일반 결과를 수신하는 경우 에이전트 검색자는 디바이스 모델, 소프트웨어 버전, 유지 관리 기록 및 네트워크 상태를 포함하는 전체 대화 기록을 고려하여 정확한 관련 문서를 표시할 수 있습니다.
• 검색된 내용, 이유 및 비용에 대한 완전한 투명성을 보장합니다. 예를 들어 규정 문서 및 과거 감사 결과를 요약할 때 정확한 원본(예: "2023년 2분기 SEC 제출"), 선택 근거(예: "일치하는 키워드: 위험 공개, 파생물") 및 관련 비용(예: 토큰 사용량)을 아는 것이 중요합니다.

사용 사례를 선택할 때 고려 사항

• 대기 시간: 쿼리 계획에 대한 두 번째 LLM 호출을 추가하면 요청의 왕복 시간이 불가피하게 연장됩니다. 빠른 모델을 사용하더라도 최대 트래픽에서 추가 지연을 벤치마킹하고 전체 환경이 사용자에게 허용되는지 확인해야 합니다. 대기 시간이 중요한 경우 자주 쿼리를 캐싱하거나 더 작고 빠른 계획 모델을 사용하는 것이 좋습니다.
• 비용: OpenAI 모델 토큰 및 검색 순위 토큰의 두 가지 차원에 대한 요금이 발생합니다. 쿼리 플래너 호출은 입력 및 출력 토큰 모두에 대해 Azure OpenAI로부터 청구되며, 각 하위 쿼리는 순위가 지정되어야 하는 토큰에 대해 Azure AI 검색에서 청구합니다. 순위 토큰은 공개 미리 보기의 초기 단계에서 무료입니다. 워크로드에 대한 모델 및 순위 토큰 번호를 모두 미리 예측합니다.
• 중요한 입력: 전체 대화 기록이 플래너 모델로 전달됩니다. 즉, 개인 식별 가능 또는 비즈니스에 민감한 데이터가 즉각적인 신뢰 경계를 벗어납니다. LLM을 호출하기 전에 이러한 데이터를 제거, 마스크 또는 수정하고 데이터 보호 태세에서 완화를 문서화합니다.
• 지역 및 미리 보기 제한: 에이전트 검색은 의미 체계 랭커를 사용할 수 있는 지역에서만 사용할 수 있습니다. 개별 에이전트는 하나의 검색 인덱스만 가리킬 수 있습니다. 데이터 및 모델을 호스트하는 지역이 에이전트 검색을 지원하는지 확인하고 여러 인덱스 또는 지역에 걸쳐야 하는 경우 별도의 에이전트를 계획합니다.
• 규정 준수: LLM 기반 쿼리 플래너를 사용하는 것이 섹터별 또는 지역 요구 사항(예: 데이터 상주, 개인 정보 보호 또는 의료 또는 금융의 자동화된 의사 결정 규칙)을 준수하는지 확인합니다. 적절한 인간의 감독과 제어를 보장합니다. 개발자가 계획된 작업 또는 외부 데이터 원본에 대한 호출을 검토하는 것을 포함할 수 있는 작업을 적시에 확인, 검토 및/또는 승인하는 데 도움이 되는 컨트롤을 포함하는 것이 좋습니다.
• 법률 및 규제 고려 사항: 사용자는 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 Foundry 도구 및 솔루션을 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 또한 Foundry 도구 또는 솔루션은 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용할 수 없습니다.

Azure AI 검색 AI 보강은 서비스의 인덱서 및 데이터 원본 기능을 사용하여 Foundry Tools를 호출하여 콘텐츠 보강을 수행합니다. 이 프로세스에 사용되는 인덱서 및 데이터 원본의 제한 사항이 적용됩니다. 이러한 관련 제한 사항에 대한 자세한 내용은 인덱서 및 데이터 원본 설명서를 검토하세요. Azure AI 검색 AI 보강 파이프라인에서 사용하는 각 Foundry 도구의 제한 사항도 적용됩니다. 이러한 제한 사항에 대한 자세한 내용은 각 서비스에 대한 투명도 정보를 참조하세요.

기술 제한 사항, 운영 요소 및 범위

Azure AI 검색 업로드된 모든 벡터는 선택한 모델을 사용하여 서비스에서 외부에서 생성되어야 합니다. 각 모델의 기술적 제한 사항 및 작동 요인을 고려하고, 만드는 포함이 사용 사례에 최적화되었는지 또는 적절한지 여부를 고려해야 합니다. 여기에는 콘텐츠에서 추출된 의미의 유추와 벡터 포함 공간의 차원이 모두 포함됩니다.

벡터화 모델은 애플리케이션의 결과 최종 사용자 검색 환경을 정의하는 포함 공간을 만듭니다. 모델이 원하는 사용 사례에 잘 맞지 않거나 생성된 포함이 제대로 최적화되지 않은 경우 기능과 성능 모두에 부정적인 영향을 주는 모델에 단점이 있을 수 있습니다.

벡터 검색의 많은 제한 사항은 포함을 생성하는 데 사용되는 모델에서 비롯되지만 쿼리 시 고려해야 할 몇 가지 추가 옵션이 있습니다. 두 알고리즘 중에서 선택하여 벡터 검색 결과의 관련성을 확인할 수 있습니다. KNN(Exhaustive k-nearest neighbors) 또는 Hierarchical Navigable Small World. 전체 k-최근접 이웃(KNN)은 모든 데이터 지점 쌍의 거리를 계산해 쿼리 지점에 대한 정확한 k개의 최근접 이웃을 찾아내어, 쿼리와 가장 유사한 항목을 찾기 위해 전체 벡터 공간에 대해 무차별 대입 검색을 수행합니다. 더 정확하지만 이 알고리즘은 느려질 수 있습니다. 짧은 대기 시간이 주요 목표인 경우 HNSW(계층적 탐색 가능 Small World) 알고리즘을 사용하는 것이 좋습니다. HNSW는 고차원 임베딩 공간에서 효율적인 근사 최근접(ANN) 검색을 수행합니다. 이러한 옵션에 대한 자세한 내용은 벡터 검색 설명서를 참조하세요.

시스템 성능 향상을 위한 모범 사례

• 애플리케이션에서 지원할 것으로 예상되는 다양한 콘텐츠 및 쿼리 형식으로 애플리케이션을 테스트하는 데 시간을 할애하세요. 요구 사항에 가장 적합한 쿼리 환경을 파악합니다.
• 다양한 입력 콘텐츠로 모델을 테스트하는 데 시간을 할애하여 다양한 상황에서 모델 작동 방식을 이해합니다. 이 콘텐츠에는 모델에 내재된 편견이 있는지 여부를 이해하기 위해 잠재적으로 중요한 입력이 포함될 수 있습니다. Azure OpenAI 책임 AI 개요는 AI를 책임감 있게 사용하는 방법에 대한 지침을 제공합니다.
• 애플리케이션 아키텍처에 Azure AI 콘텐츠 보안 추가하는 것이 좋습니다. 애플리케이션 및 서비스에서 유해한 사용자 생성 및 AI 생성 텍스트 또는 이미지를 감지하는 API가 포함되어 있습니다.

벡터 검색 평가 및 통합 사용 방법

최적의 성능을 보장하려면 벡터 검색을 사용하여 구현하려는 솔루션에 대한 고유한 평가를 수행합니다. (1) 일부 내부 관련자를 사용하여 결과를 평가하고, (2) A/B 실험을 사용하여 사용자에게 벡터 검색을 배포하고, (3) 서비스가 처음으로 환경에서 배포될 때 KPI(핵심 성과 지표) 및 메트릭 모니터링을 통합하고, (4) 의미 체계 순위 구성 및/또는 인덱스 정의를 테스트하고 조정하는 평가 프로세스를 따릅니다. 사용자 인터페이스 배치 또는 비즈니스 프로세스와 같은 주변 환경을 포함합니다.

Microsoft 다양한 데이터 세트를 사용하여 반환된 결과의 속도, 확장성 및 정확도를 측정하여 대기 시간 및 회수 및 관련성 측면에서 벡터 검색을 엄격하게 평가했습니다. 평가 작업의 주요 초점은 특정 사용 사례에 적합한 모델을 선택하고, 모델의 제한 사항 및 편향을 이해하고, 종단 간 벡터 검색 환경을 엄격하게 테스트하는 것입니다.

기술 제한 사항, 운영 요소 및 범위

의미 체계 결과, 캡션 및 답변이 올바르지 않은 경우가 있을 수 있습니다. 의미 체계 순위에서 사용하는 모델은 다양한 데이터 원본(오픈 소스 및 Microsoft Bing 모음의 선택 항목 포함)에서 학습됩니다. 의미 체계 순위는 광범위한 언어를 지원하며 사용자 쿼리를 검색 결과의 콘텐츠와 일치시키려고 시도합니다. 의미 체계 순위는 엔드 투 엔드 솔루션의 전체 비용을 예상할 때 고려해야 하는 추가 비용의 프리미엄 기능이기도 합니다.

의미 체계 순위는 문서 및 설명과 같이 의미상 풍부한 콘텐츠에 대한 관련성을 향상시킬 가능성이 높습니다. 쿼리를 고려할 때 더 적합한 일치 항목을 높이며 용어 간의 컨텍스트 및 관련성을 찾습니다. 언어 이해는 콘텐츠 내에서 요약 또는 캡션과 대답을 "찾습니다". 하지만 Azure OpenAI Service 모델 GPT-3.5 또는 GPT-4와 같은 생성 모델과 달리 해당 모델은 생성되지 않습니다. 원본 문서의 축자 텍스트만 응답에 포함되며, 더 생산적인 검색 환경을 위해 검색 결과 페이지에서 렌더링할 수 있습니다.

미리 학습된 최신 모델은 요약 및 순위 지정에 사용됩니다. 사용자가 검색에서 기대하는 빠른 성능을 유지하기 위해 의미 체계 요약 및 순위는 기본 점수 매기기 알고리즘에서 채점된 상위 50개 결과에만 적용됩니다. 입력은 검색 결과의 콘텐츠에서 파생됩니다. 쿼리 응답에서 반환되지 않은 검색 문서의 다른 필드에 액세스하기 위해 검색 인덱스로 다시 연결할 수 없습니다. 입력의 토큰 길이는 8,960입니다. 이러한 제한은 밀리초 응답 시간을 유지하는 데 필요합니다.

기본 점수 매기기 알고리즘은 Bing 및 Microsoft Research에서 추가 기능으로 Azure AI 검색 인프라에 통합됩니다. 모델은 내부적으로 사용되며 개발자에게 노출되지 않으며 구성할 수 없습니다. 의미 체계 순위를 지원하는 연구 및 AI 투자에 대한 자세한 내용은 Bing의 AI가 Azure AI 검색 구동하는 방법(Microsoft 연구 블로그).

의미 체계 순위는 응답 내에서 답변, 캡션 및 강조 표시를 제공합니다. 예를 들어 모델이 쿼리를 질문으로 분류하고 대답에 70% 확신하는 경우 모델은 의미 체계 답변을 반환합니다. 또한 의미 체계 캡션은 결과 내에서 가장 관련성이 큰 콘텐츠를 제공하고 해당 코드 조각 내에서 가장 관련성이 큰 단어 또는 구를 강조 표시하는 간단한 코드 조각을 제공합니다.

의미 체계 순위 결과는 기본 검색 인덱스의 데이터를 기반으로 하며, 모델은 인덱스에서 검색된 정보를 기반으로 관련성 순위, 답변 및 캡션을 제공합니다. 프로덕션 환경에서 의미 체계 랭커를 사용하기 전에 추가 테스트를 수행하고 데이터 세트가 의도한 사용 사례에 정확하고 적절한지 확인하는 것이 중요합니다. 의미 체계 순위를 평가하는 방법에 대한 자세한 내용과 예제는 여기의 콘텐츠 및 부록을 참조하세요.

시스템 성능

많은 AI 시스템에서 성능은 정확도와 관련하여 정의되는 경우가 많습니다. 즉, AI 시스템이 올바른 예측 또는 출력을 제공하는 빈도입니다. 대규모 자연어 모델을 사용하면 두 명의 다른 사용자가 동일한 출력을 보고 얼마나 유용하거나 관련성이 있는지에 대해 서로 다른 의견을 가질 수 있습니다. 즉, 이러한 시스템의 성능을 보다 유연하게 정의해야 합니다. 여기서는 애플리케이션이 유해한 출력을 생성하지 않는 것을 포함하여, 사용자와 그들이 기대하는 대로 작동하는 성능을 광범위하게 고려합니다.

시맨틱 랭커는 공용 콘텐츠에 대해 훈련되었습니다. 따라서 의미 체계 관련성은 인덱스의 문서 및 인덱스에 대해 실행된 쿼리에 따라 달라집니다. 의사 결정을 위해이 콘텐츠를 사용할 때 자신의 판단과 연구를 사용하는 것이 중요합니다.

시스템 성능 향상을 위한 모범 사례

• 애플리케이션을 다양한 쿼리 형식으로 A/B 테스트하는 데 시간을 쓰세요. 예를 들어, 키워드 쿼리와 하이브리드 플러스 의미 기반 랭커 쿼리를 비교해 보세요. 요구 사항에 가장 적합한 쿼리 환경을 파악합니다.
• 기능 설명서에 따라 의미 체계 구성을 설정하기 위해 합리적인 노력을 기울여야 합니다.
• 검색 인덱스 내의 정보의 정확도에 대한 신뢰가 없는 경우 의미 체계 답변을 신뢰하지 마세요.
• 의미 체계 캡션은 간단한 코드 조각에서 가장 관련성이 큰 답변을 예측하는 일련의 모델을 통해 고객 콘텐츠에서 추출되므로 항상 신뢰하지 마세요.

의미 체계 순위 평가

평가 방법

의미 체계 순위는 여러 데이터 세트에 대한 자동화된 판단과 내부 고객의 피드백을 포함하여 내부 테스트를 통해 평가되었습니다. 테스트에는 관련성 우선 순위의 문서 순위와 함께 관련성이 있거나 관련이 없는 것으로 점수 매기는 문서의 순위가 포함됩니다. 마찬가지로 캡션 및 답변 기능도 내부 테스트를 통해 순위가 지정되었습니다.

평가 결과

모든 모델 업데이트를 회귀 없는 상태로 제공하려고 노력합니다(즉, 업데이트된 모델은 현재 프로덕션 모델만 개선해야 함). 각 후보는 평가되는 기능에 적합한 메트릭을 사용하여 현재 프로덕션 모델과 직접 비교됩니다 (예: 순위 평가를 위한 정규화된 할인 누적 게인과 답변 평가를 위한 정밀도/재현율). 의미 체계 순위 모델은 다양한 속성(언어, 길이, 서식, 스타일 및 톤)이 있는 문서를 대표하는 광범위한 학습 데이터를 사용하여 학습, 조정 및 평가되어 가장 광범위한 검색 시나리오를 지원합니다. 학습 및 테스트 데이터는 다음에서 가져옵니다.

문서 원본:

• 학술 및 업계 벤치마크
• 고객 데이터(테스트 전용, 고객 권한으로 수행)
• 가상 데이터

쿼리 원본:

• 벤치마크 쿼리 세트
• 고객이 제공한 쿼리 집합(테스트 전용, 고객 권한으로 수행)
• 합성 쿼리 집합
• 사람이 생성한 쿼리 집합

점수 매기기 쿼리 및 문서 쌍에 대한 레이블 원본:

• 학술 및 업계 벤치마크 레이블
• 고객 레이블(테스트 전용, 고객 권한으로 수행)
• 가상 데이터 레이블
• 사람이 채점한 레이블

사용하기 위한 시맨틱 랭커 평가 및 통합

의미 체계 순위의 성능은 실제 사용 및 사람들이 사용하는 조건에 따라 달라집니다. 의미 체계 순위 기능을 지원하는 딥 러닝 모델을 통해 제공되는 관련성의 품질은 검색 인덱스의 데이터 품질과 직접 상관 관계가 있습니다. 예를 들어 모델에는 현재 의미 체계 답변에 대해 상위 8,960개의 토큰만 고려하는 토큰 제한 사항이 있습니다. 따라서 검색 쿼리에 대한 의미 체계 답변이 긴 문서 끝(8,960 토큰 제한 초과)으로 발견되면 답변이 제공되지 않습니다. 캡션에 동일한 규칙이 적용됩니다. 또한 의미 체계 구성은 관련 검색 필드를 우선 순위 순서로 나열합니다. 이 목록의 필드를 순서를 변경하여 요구 사항에 맞게 관련성을 조정할 수 있습니다.

시나리오에서 최적의 성능을 보장하기 위해 고객은 의미 체계 순위자를 사용하여 구현하는 솔루션에 대한 자체 평가를 수행해야 합니다. 고객은 일반적으로 (1) 일부 내부 이해 관계자를 사용하여 결과를 평가하고, (2) A/B 실험을 사용하여 사용자에게 의미 체계 순위 매기기를 배포하고, (3) 서비스가 처음으로 환경에 배포될 때 KPI 및 메트릭 모니터링을 통합하고, (4) 의미 체계 순위 구성 및/또는 인덱스 정의를 테스트하고 조정하는 평가 프로세스를 따라야 합니다. 사용자 인터페이스 배치 또는 비즈니스 프로세스와 같은 주변 환경을 포함합니다.

의료, 인적 자원, 교육 또는 법률 분야와 같은 고액 도메인 또는 산업에서 애플리케이션을 개발하는 경우 시나리오에서 애플리케이션이 얼마나 잘 작동하는지 평가하고, 강력한 인간 감독을 구현하고, 사용자가 애플리케이션의 한계를 얼마나 잘 이해하고, 모든 관련 법률을 준수하는지 평가합니다. 시나리오에 따라 다른 완화 방법을 고려합니다.

기술 제한 사항, 운영 요소 및 범위

가상 쿼리가 잘못되거나, 너무 많은 제한 사항이 있거나, 비용이 너무 많이 드는 경우가 있을 수 있습니다. 쿼리 다시 쓰기는 광범위한 언어 를 지원하고 사용자 쿼리를 다시 작성하여 회수를 최대화하려고 합니다. 쿼리 언어를 입력으로 지정해야 합니다. 쿼리 다시 쓰기는 검색 관련성을 개선하기 위한 의미 체계 순위(Azure AI 검색 기능)의 일부로, 추가 비용이 드는 프리미엄 기능입니다. 엔드 투 엔드 솔루션의 전체 비용을 프로젝팅할 때 고려해야 합니다. 의미 체계 순위가 설정된 경우에만 쿼리 다시 쓰기를 사용할 수 있습니다.

프로덕션 환경(애플리케이션의 라이브 버전)에서 쿼리 다시 쓰기를 사용하기 전에 추가 테스트를 수행하고 가상 쿼리가 의도한 사용 사례에 적합한지 확인해야 합니다. 쿼리 재작성을 평가하는 방법에 대한 자세한 내용과 예제는 여기의 콘텐츠 및 부록을 참조하세요.

시스템 성능

대규모 자연어 모델을 사용하면 두 명의 다른 사용자가 동일한 출력을 보고 얼마나 유용하거나 관련성이 있는지에 대해 서로 다른 의견을 가질 수 있습니다. 즉, 이러한 시스템의 성능을 보다 유연하게 정의해야 합니다. 여기서는 애플리케이션이 유해한 출력을 생성하지 않는 것을 포함하여, 사용자와 그들이 기대하는 대로 작동하는 성능을 광범위하게 고려합니다.

쿼리 다시 쓰기의 성능은 실제 사용 및 사용자가 쿼리를 사용하는 조건에 따라 달라집니다. 쿼리 재작성 모델에서 제공하는 가상 쿼리의 품질은 원래 검색 쿼리와 직접 상관 관계가 있습니다.

시나리오에서 최적의 성능을 보장하기 위해 고객은 쿼리 다시 작성을 사용하여 구현하는 솔루션에 대한 자체 평가를 수행해야 합니다. 고객은 일반적으로 다음과 같은 평가 프로세스를 따라야 합니다.

1. 는 일부 내부 이해 관계자를 사용하여 결과를 평가합니다.
2. A/B 실험을 사용하여 사용자에게 쿼리 다시 쓰기를 배포합니다.
3. 는 서비스가 환경에 처음으로 배포될 때 KPI 및 메트릭 모니터링을 통합합니다.

시스템 성능 향상을 위한 모범 사례

• 다양한 쿼리 유형(전체 텍스트, 벡터, 하이브리드 또는 다른 유형의 쿼리)을 사용하여 애플리케이션에 대한 A/B 테스트를 완료합니다. 요구 사항에 가장 적합한 쿼리 환경을 파악합니다.
• 쿼리 재작성으로 생성된 모든 가상 쿼리가 원래 쿼리의 정확한 의도를 반영한다고 가정하지는 않습니다. 가상 쿼리는 원래 쿼리의 의도와 의미상 유사하지만 정확한 의도와 일치하지 않을 수 있는 세밀하게 조정된 SLM에 의해 생성됩니다.

쿼리 다시 쓰기 평가

평가 방법

쿼리 재작성은 여러 데이터 세트에 대한 자동화된 판단과 내부 고객의 피드백을 포함하여 내부 테스트를 통해 평가되었습니다. 테스트에는 의미 체계 순위만 있는 결과의 관련성에 비해 쿼리 재작성과 결합된 의미 체계 순위 결과의 관련성을 평가하는 것이 포함되었습니다.

평가 결과

각 후보 모델은 평가되는 기능에 적합한 메트릭을 사용하여 현재 배포된 모델과 직접 비교됩니다. 쿼리 재작성 모델은 다양한 속성(언어, 길이, 서식, 스타일 및 톤)이 있는 쿼리를 대표하는 광범위한 공용 데이터를 사용하여 튜닝 및 평가되어 가장 광범위한 검색 시나리오를 지원합니다. 학습 및 테스트 데이터는 다음에서 가져옵니다.

문서 원본:

• 학술 및 업계 벤치마크
• 고객 데이터(테스트 전용, 고객 권한으로 수행)

쿼리 원본:

• 벤치마크 쿼리 세트
• 고객이 제공한 쿼리 집합(테스트 전용, 고객 권한으로 수행)
• 합성 쿼리 집합
• 사람이 생성한 쿼리 집합

점수 매기기 쿼리 및 문서 쌍에 대한 레이블 원본:

• 학술 및 업계 벤치마크 레이블
• 고객 레이블(테스트 전용, 고객 권한으로 수행)
• 가상 데이터 레이블
• 사람이 채점한 레이블

쿼리 재작성을 평가하고 귀하의 사용에 맞게 통합하기

쿼리 재작성은 공용 콘텐츠에 대해 학습되었으므로 가상 쿼리는 실행된 쿼리에 따라 달라집니다. 따라서 의사 결정에 이 콘텐츠를 사용할 때 자신의 판단과 연구를 사용하는 것이 중요합니다.

기술 제한 사항, 운영 요소 및 범위

GenAI 프롬프트 기술은 강력한 기능을 제공하지만 특정 제한 사항을 인식하는 것이 중요합니다.

• 이 기술은 Foundry 내에서 고객이 구성한 콘텐츠 필터를 사용합니다. Azure AI 검색 이 기술에 대한 추가 콘텐츠 안전 메커니즘을 제공하지 않습니다.
• AI 생성 콘텐츠의 품질은 프롬프트의 효과와 기본 언어 모델에 따라 달라집니다. 출력이 원하는 표준을 충족하는지 확인하기 위해 철저한 테스트가 필요합니다.
• 복잡한 프롬프트를 사용하여 대량의 데이터를 처리하려면 상당한 계산 리소스가 필요할 수 있으며 대기 시간이 발생할 수 있습니다. 성능 및 비용 효율성을 유지할 뿐만 아니라 데이터 처리가 지연되지 않도록 리소스를 현명하게 계획하고 할당합니다.

시스템 성능

시스템 성능 향상을 위한 모범 사례

GenAI 프롬프트 기술의 성능을 최적화하려면 다음을 수행합니다.

• Azure AI 검색 디버그 세션 도구를 활용하여 샘플 문서에 대한 프롬프트를 테스트하여 AI 생성 콘텐츠가 전체 배포 전에 기대에 부합하도록 합니다.
• 명확하고 상세한 프롬프트를 작성하여 언어 모델을 효과적으로 안내하여 관련이 없거나 부정확한 출력의 가능성을 줄입니다.
• AI 처리의 계산 요구를 처리하기 위해 필요에 따라 시스템 성능을 모니터링하고 리소스를 확장합니다.
• 게시 또는 보급 전에 출력에 대한 사람의 감독을 장려합니다. 생성 AI를 사용하면 현재 작업과 불쾌하거나 관련이 없는 콘텐츠를 생성할 가능성이 있습니다.

GenAI 프롬프트 기술 평가

GenAI 프롬프트 기술을 평가하고 통합하여 활용하기

특정 컨텍스트 내에서 GenAI 프롬프트 기술의 이점을 최대화하려면 다음 단계를 고려합니다.

• 간결한 요약 생성, 주요 엔터티 추출 또는 설명이 포함된 메타데이터 만들기와 같은 특정 보강 목표를 결정하여 기술 애플리케이션을 비즈니스 요구 사항에 맞게 조정합니다.
• 데이터의 하위 집합으로 시작하여 기술의 성능을 평가하고 필요한 조정을 합니다. 이 방법을 사용하면 본격적인 배포 전에 제어된 실험 및 구체화를 수행할 수 있습니다.
• AI 생성 콘텐츠의 품질과 영향을 모니터링하는 메커니즘을 설정합니다. 향상된 영역을 식별하고 보강된 데이터가 사용자 기대치를 충족하는지 확인하기 위해 최종 사용자의 피드백을 요청합니다.

기술 제한 사항, 운영 요소 및 범위

LLM에서 생성된 하위 쿼리가 관련이 없거나 지나치게 제한적이거나 드라이브업 토큰 비용이 발생하는 경우가 있을 수 있습니다. 에이전트 검색은 GPT-4o 제품군에서 처리하는 모든 언어를 지원하지만 생성된 쿼리 계획의 품질은 여전히 사용자 입력의 명확성에 따라 달라집니다. 에이전트 검색은 모든 하위 쿼리에 대한 의미 체계 순위에 의존하므로 인덱스에 대해 의미 체계 순위가 활성화되어 있어야 합니다. 의미 체계 순위는 프리미엄 토큰 기반 기능입니다. 공개 미리 보기의 초기 단계에서는 순위 요금이 면제되지만 나중에 적용되며 총 소유 비용을 고려해야 합니다.

에이전트 검색을 프로덕션 환경으로 이동하기 전에 추가 테스트를 수행하여 하위 쿼리 및 반환된 구절이 의도한 사용 사례에 적합한지, 대기 시간 및 비용이 서비스 수준 목표를 충족하는지, 접지 데이터가 중요하거나 비준수 콘텐츠를 노출하지 않는지 확인합니다.

시스템 성능

대규모 언어 모델 시스템과 마찬가지로, 다른 사용자는 반환된 구절의 유용성 또는 관련성에 대해 서로 다른 판단에 도달할 수 있으므로 성능을 유연하게 정의해야 합니다. 에이전트 검색의 경우 엔드 투 엔드 애플리케이션이 허용할 수 없는 대기 시간, 비용 또는 유해한 출력 없이 사용자가 기대하는 콘텐츠를 제공한다는 의미로 좋은 성능을 고려합니다.

에이전트 검색의 효과는 많은 실제 요인에 따라 달라집니다.

• 프롬프트/채팅 기록 길이
• LLM 생성 하위 쿼리 수
• 인덱스 크기 및 스키마(키워드, 벡터, 하이브리드)
• 계획 모델 선택(GPT-4o 및 GPT-4o-mini)
• 의미 체계 검색 구성 및 점수 임계값

시스템 성능 향상을 위한 모범 사례

• 토큰 사용량을 낮게 유지하기 위해 이전 채팅 턴을 요약하거나 트리밍합니다.
• 관련성이 높은 구절만 반환되도록 순위 임계값 조정
• 가능한 경우 필터 사용

에이전트적 검색 평가

에이전트 검색은 여러 데이터 세트에 대한 자동화된 판단과 사람의 판단을 포함하여 내부 테스트를 통해 평가되었습니다. 테스트에는 의미 체계 순위만 있는 결과와 비교하여 에이전트 검색 결과의 관련성을 평가하는 것이 포함되었습니다.

평가 방법

플래너 프롬프트, 모델 변형, 하위 쿼리 수 및 순위 임계값에 의해 정의된 각 후보 에이전트 검색 구성은 프로덕션 기준에 대해 일대일로 평가됩니다. 다중 쿼리 검색 시나리오에 대해 특별히 선택한 관련성, 안전성, 대기 시간 및 비용 메트릭 제품군을 적용합니다. 실제 사용 사례에서 안정성을 보장하기 위해 튜닝 및 테스트는 언어, 쿼리 길이, 서식, 스타일 및 대화형 톤에 따라 다양한 공용 및 고객 승인 데이터 집합을 광범위하게 혼합하여 수행됩니다. 테스트 자료는 다음에서 공급됩니다.

문서 원본:

• 학술 및 업계 벤치마크
• 고객 데이터(테스트 전용, 고객 권한으로 수행)
• 쿼리 원본:
• 벤치마크 쿼리 세트
• 고객이 제공한 쿼리 집합(테스트 전용, 고객 권한으로 수행)
• 합성 쿼리 집합
• 사람이 생성한 쿼리 집합

점수 매기기 쿼리 및 문서 쌍에 대한 레이블 원본:

• 학술 및 업계 벤치마크 레이블
• 고객 레이블(테스트 전용, 고객 권한으로 수행)
• 가상 데이터 레이블
• 사람이 채점한 레이블

사용할 에이전트 검색 평가 및 통합

에이전트 검색 플래너는 주로 공용 데이터에 대해 학습되므로 생성된 하위 쿼리의 품질 및 관련성은 도메인 및 특정 사용자 프롬프트에 따라 달라집니다. 특정 컨텍스트 내에서 에이전트 검색의 이점을 최대화하려면 다음 단계를 고려합니다.

• 출력을 사용하여 비즈니스에 중요한 의사 결정을 내리기 전에 출력의 유효성을 검사합니다. 생성된 하위 쿼리 및 반환된 문서의 샘플을 수동으로 검사하여 도메인 용어, 정확도 및 규정 준수 요구 사항에 부합하는지 확인합니다.
• 플래너에게 도메인별 정보를 제공합니다. 동의어 맵 및 전체 대화 기록을 제공하여 LLM이 콘텐츠와 일치하는 언어로 쿼리를 의역하고 분해하여 재현율과 정밀도를 향상시킬 수 있습니다.
• 대체 또는 가드레일 논리 구현: Planner가 낮은 신뢰도 또는 범위를 벗어난 하위 쿼리를 생성하는 경우 요청을 더 간단한 키워드 또는 벡터 검색으로 라우팅하거나 사용자에게 설명 프롬프트를 표시하여 신뢰할 수 없는 답변이 다운스트림으로 전파되지 않도록 합니다.