SharePoint Agent and Remote SharePoint: Search Mechanisms and Indexing Capabilities"

注:この回答は自動的に翻訳されています。そのため、文法の誤りや不自然な表現が含まれていることがあります。

こんにちは@Daichi Ishikawa

ご提供いただいた情報に基づき、SharePoint Agent、Remote SharePoint、SharePointツールの仕組みと仕様（特にCopilot Retrieval API、セマンティックインデックス、ベクトル検索、マルチモーダル対応との関連性）について確認をご希望であると理解いたしました。

いただいたご質問について、以下の通り回答いたします：

1. SharePoint Agent と Remote SharePoint / SharePoint ツールの仕組みについて

お調べしたところ、SharePoint Agents（Microsoft 365/SharePointネイティブ）、Remote SharePoint（Azure AI Search内）、およびSharePoint tools（Azure AI Foundry agents内）はすべて同じコアメカニズムで動作しています。これらはM365側のMicrosoft 365 Semantic Index for Copilotを（Copilot Retrieval APIまたは同等のバックエンドを通じて）クエリします。

Copilot Retrieval APIはSemantic Index for Copilotを直接クエリし、ランク付けされたテキストチャンクを返します。独自のインデックスは作成せず、データのエグレス（外部流出）も行いません。Agent APIやSharePoint toolを使用する場合でも、Copilotが使用するのと同じ「テナント内グラウンディングレイヤー」に依存しています。検索結果は、SharePointの権限、Purviewラベル、およびKQLフィルターに完全に準拠します。APIは最大25件のテキスト結果を返し（一部のリモートパターンでは「順序なし」と記載されます）、その後、Azure側のエージェント検索エンジンがそれらをさらにリランク（再ランク付け）することができます。

• 詳細については、こちらのドキュメントをご参照ください: Microsoft 365 Copilot取得 API の概要

2. Semantic Index for Copilot とベクトル検索について

Semantic Index for Copilotにはベクトルベースのインデックス作成機能がありますが、生のベクトルDBとして公開されているわけではありません。ドキュメントによると、セマンティックインデックスはレキシカル（語彙）インデックスとセマンティック（ベクトル）インデックスを組み合わせたものです。テキストコンテンツの数値表現であるベクトル埋め込みを作成して意味的類似性による検索を行い、それを従来のキーワード検索、パーソナライズ、およびMicrosoft Graphのシグナル（同義語、関係性など）と組み合わせます。

ただし、Copilot Retrieval APIでは、ベクトル検索を直接呼び出したり、クエリの埋め込みやコサイン類似度を使用したりすることはできず、ランク付けされたテキストスニペットのみを返します。したがって、セマンティックインデックスは単なる「フルテキスト検索後のリランク」に限定されるものではなく、クエリのコアコンポーネントとしてベクトル類似性を積極的に使用しています。

3. Copilot Retrieval API を使用したマルチモーダル検索について

上記と同じ理由で、Copilot Retrieval API（およびそれに伴うSharePoint Agents、Remote SharePoint、SharePoint tools）はマルチモーダル検索をサポートしていません。サポートされている形式（.doc、.docx、.pptx、.pdf、.aspx、.one）からテキストチャンクを取得することのみ可能です。

画像、図、チャート、表からの取得はサポートされていません（一部のOfficeファイル内の非常に限定されたテキストを除く）。検索やグラウンディングのためのOCR、画像のベクトル化、図の理解機能はありません。ドキュメントに画像や図が含まれている場合でも、その周辺または内部にある抽出可能なテキスト（存在する場合）のみがインデックス化され、検索対象となります。

• 詳細については、こちらのドキュメントをご参照ください: Microsoft 365 Copilotのセマンティック インデックス作成

お調べした情報が、仕様のご理解にお役に立てば幸いです。さらに必要な情報がございましたら、遠慮なくお知らせください。

もし回答が役に立つなら、回答を受け入れる をクリックして、ぜひアップボートしてください。この回答について追加の質問がある場合は、コメントをクリックしてください。

注意:このスレッドに関連するメール通知を受け取りたい場合は、当社のドキュメントの手順に従ってメール通知を有効にしてください。