専門家向けNLPシリーズ：検索

検索：言葉から意味へ、そして答えを見つける技術

インターネットを使うとき、多くの人が最初に頼るのは検索エンジンです。「近くのカフェ」「安いスマホ」「雇止め判例」。こうしたクエリを入力すれば、関連する情報が一覧で返ってきます。けれども実際に欲しいのは、リンクのリストではなく「自分にとって役立つ答え」です。検索はNLPの中でも最も身近で実用的な分野であり、技術的にもこの20年で大きく進化してきました。

ここでは、検索の仕組みとその発展、そして要約や質問応答とのつながりについて見ていきましょう。

キーワード検索の時代

最初の検索はとてもシンプルでした。文書を単語ごとに分解し、その出現頻度を数えて、
クエリに含まれる単語が多く登場する文書を「関連度が高い」とみなす方法です。

代表的なのが TF-IDF という手法で、「よく出るけれど特徴的ではない単語（例：は、の、する）」は重みを下げ、あまり出ないけれど特徴的な単語には高いスコアを与えます。その後に登場した BM25 は、このアイデアをさらに改良し、いまでも多くの検索システムで使われています。

この時代の検索は「単語の一致」がすべてでした。たとえば「安いスマホ」と検索しても、「低価格スマホ」や「格安スマホ」といった言い換え表現までは拾えませんでした。

意味検索への移行

2010年代に入ると、検索は「単語」から「意味」へと大きく進化します。
そのきっかけとなったのが、単語分散表現（Word Embeddings）です。Word2VecやGloVeなどによって単語を数値ベクトルで表現できるようになり、似た意味の単語は近い位置に配置されるようになりました。

さらに、文全体をベクトル化する Sentence-BERT や Universal Sentence Encoder などが登場し、「文章同士の意味の近さ」を測れるようになります。これを利用したのがベクトル検索（Dense Retrieval）です。文書やクエリをベクトル空間に変換し、近いものを探し出すという仕組みです。

このおかげで「安いスマホ」と検索すれば「格安携帯」「低価格端末」といった言い換えも見つかるようになりました。

ハイブリッド検索の登場

とはいえ、ベクトル検索にも弱点があります。曖昧なマッチは得意でも、数値や固有名詞などピンポイントの一致が必要な場合にはBM25の方が正確です。そこで近年はハイブリッド検索が注目されています。

これは、BM25のような従来型（疎ベクトル）検索と、ベクトル検索を組み合わせ、両方の長所を活かす方法です。こうすることで、言い換え表現にも強く、正確な一致にも対応できるバランスの良い検索が実現します。

法律や医療のように「専門用語の一致」と「文脈上の意味」の両方が大事な分野では、このハイブリッド検索が特に威力を発揮します。

検索と要約・QAのつながり

最近は、大規模言語モデル（LLM）が検索にも影響を与えています。
特に注目されるのが RAG（Retrieval-Augmented Generation）という仕組みです。これは、まずベクトル検索で関連文書を探し、その文書をLLMに渡して要約や回答を生成させるという方法です。

RAGによって、単なる「文書の一覧」ではなく「根拠つきの答え」を返すことができるようになりました。ChatGPTやPerplexityなど、最新のAIサービスの多くがこの仕組みを取り入れています。

ただし課題もあります。生成結果が正確であるとは限らず、「幻覚（hallucination）」と呼ばれる誤った情報をもっともらしく答えてしまうリスクもあります。そのため、検索の根拠を明示したり、知識ベースと組み合わせたりする工夫が欠かせません。

専門分野での活用

検索技術は専門分野でも力を発揮しています。
法律分野では「事案の類型」や「争点分類」といった正規化ラベルを活用し、より精度の高い判例検索が可能になっています。医療分野では、症例記録から類似事例を検索し、診断や治療の参考にすることができます。ビジネスの現場でも、社内文書やマニュアルを検索して必要な情報を即座に引き出す仕組みが導入されています。

これらの領域では、検索精度だけでなく「なぜこの文書が選ばれたのか」という根拠を示すことが重要です。信頼性のある検索は、専門家の意思決定を支えるための前提条件だからです。