※ AIによる要約
Anthropic社は、AIモデルの情報検索性能を大幅に向上させる新技術「Contextual Retrieval（文脈検索）」を発表した。この技術は、従来のRAG（検索拡張生成）システムの課題であった文脈の欠落問題を解決するもので、検索失敗率を最大67%削減することに成功した。
新技術は「Contextual Embeddings」と「Contextual BM25」という2つの手法を組み合わせて実現。文書を分割する際に、各チャンクに文脈情報を付加することで、より正確な情報検索を可能にしている。
例えば、企業の四半期報告書から「収益が前期比3%増加した」という情報を検索する場合、従来のシステムでは具体的な企業名や時期が欠落してしまう問題があったが、新技術ではこれらの文脈情報を保持したまま検索できるようになった。
同社は、この技術をClaudeと組み合わせることで、低コストでの実装を実現。文書100万トークンあたりわずか1.02ドルで文脈付きチャンクを生成できる。
また、プロンプトキャッシュ機能との併用により、レイテンシーを2倍以上削減し、コストを最大90%削減することが可能となった。実験では、コードベース、小説、学術論文など様々な分野のデータセットで検証を実施。Gemini Text 004やVoyageなどの最新の埋め込みモデルと組み合わせることで、より高い性能を発揮することも確認された。さらに、リランキング技術を追加することで、検索精度を一層向上させることにも成功している。
Anthropic社は、この技術を実装したクックブックを公開しており、開発者は自身のプロジェクトで容易に活用できる。同社は、この新技術により、AIシステムの情報検索能力が飛躍的に向上し、より正確な応答が可能になると期待を寄せている。
