ローカルLLM構築：RAGについてまとめておこう
もう2026年なので今更ですが、RAGについてまとめておこうと思います。
ちょこしょこRAGっぽいことはこのブログでも扱ってきましたがー。
ローカルLLM構築の主な目的は、RAGにあります。
あくまで私の場合はですが。
RAG：Retrieval-Augmented Generation
RAGとは「検索拡張生成」のことです。
モデルは学習データを元に推論し、回答を生成しますが。
ここに外部のデータを入れ込む事ができるようになります。
これによって、ハルシネーションによる誤回答が軽減され、精度と信頼性を高めることができます。
・・・というのが、簡単な説明ですかね。
専門特化したモデルを用意する場合、新たな学習データでファインチューニングを実施する方法もありますが。
これにはコストも時間もかかりますし、期待通りのモデルになるかはやってみないと分かりません。
しかし、RAGを使えば。
元々のモデルの推論能力を活かして、専門的な内容を回答に含めることができる。
という違いも言われています。
RAGとファインチューニングの比較については、コチラの記事を参考にさせていただきました。
個人的な印象としては、RAGが話題になったすぐ後に、MCPサーバーが出て大騒ぎになったような感じで。
MCPサーバーはエージェントAIが利用する、リアルタイムな情報収集という感じでしょうか。
そのリアルタイム性から、MCPサーバーの方が良さそうな気がしますが。
主に大量のドキュメントを扱う場合はRAG、最新のデータや連携をするならMCPサーバー。
という感じのようです。
エージェントAIは何かしらの処理まで含めてやってもらう感じですし、MCPサーバーが必須でしょう。
推論を深めたり、ネットワーク上に無い情報を利用する場合はRAGという感じかなと。
この2つの違いについては、コチラを参考にさせていただきました。
プライベートな情報というのが鍵
正直MCPサーバーの方が、様々な情報をリアルタイムで取得できるので便利には感じます。
しかし、API経由でモデルが接続するなど。
要するにオンラインなんですよね。
まぁ完全にオフラインなマシンがあるかどうかは別として。
クラウドを含め、オンラインで保存することに抵抗のある情報はあります。
個人情報は最たるものですが、企業で考えれば独自のデータや機密文書などもあります。
社内イントラのサーバーであれば良いのかもしれませんが。
それでもできるだけ手元で管理しておきたいものはある。
そう考えると、RAGの意味が見えてきます。
なので、ローカルLLMとRAGであれば、内部文書のAI利用の壁は比較的低いのではないかなと。
とまぁ、仕事の内容みたいになってしまいますが。
今後、AIがパーソナライズ化していく中で、既存のオンラインサービスだけではなく。
使用する端末内で完結するものも必要だと思います。
個人用のエージェントAIであれば、個人情報を扱ってもらえた方が楽ですし。
その時に、個人情報を単なる(といったら語弊があるかもしれませんが)「外部データ」のようにAIが扱ってくれると、機密性を保てそうです。
あんまり「外」に出したくないデータで、生成AIを活用する方法であると考えます。
長文を処理するのにも
比較的改善されている状況だとは思いますが。
入力できるテキスト量の制限が、LLMにはあります。
調子に乗って参照データをコピペしてると、エラーになることも。
これを回避できるのも、RAGのメリットですね。
プロンプト自体は今まで通りで、参照する資料を指定するという使い方ができます。
次回記事にする予定ですが、Open WebUIのRAGのチュートリアルで、Open WebUIのドキュメントをRAGするといった利用が紹介されています。
プログラミング言語だとあんまり意味はないかもしれませんが。
ドキュメントをRAG化しておけば、開発時に助けになりますね。
公的機関からPDFで提供されている情報もRAGにすれば。
それだけで、専門知識を備えたローカルLLMを持ち歩くことができると。
ある意味、AI時代のデータ管理術になるかもしれません。
根拠に基づく回答の生成
RAGの一番の利点は、参照したデータに基づく回答が生成されることでしょう。
どんなにLLMが進化しても、ハルシネーションの問題は消えません。
情報の信頼性を確かめる必要はあります。
RAGを利用する場合、元々知っているデータである場合が高いので。
確かめる必要がなく、やり取りの中で真偽を判断できます。
とはいえ、参照資料に基づいた回答の生成になるので、そもそも大きくハズレることがないという感じですかね。
notebookLMに生成AIが実装された時に使っていた時に、「そこまで忠実じゃなくても・・・」と感じたことがあるので。
それに近い感じになるかと。
ローカルLLMを使うならRAGは使いたい
ざっくりとですが、RAGについてまとめました。
ローカルLLMの場合、モデルは公開された時までのデータで学習しているため。
推論能力が高くても、学習して持っている知識は古いものかもしれません。
その能力を活かし、利用者の望むデータを元に推論させる方法の一つにRAGがあると言えます。
そのデータの重要度に応じ、ローカルLLMであればAI利用を考えやすくなるでしょう。
個人としても組織としても、蓄積したデータを活かす良い方法だと思います。
オンライン上ならnotebookLMとGemini3で良いかというのはありますけどね。
このブログや記事の内容について、疑問に思っている事はありますか？
もしあれば、どんなことでも構いませんので、コメントを残していただくか、問い合わせフォームよりご連絡ください。
はじめまして、「ぽんぞう＠勉強中」です。
小企業に一人情報部員として働いている40代のおじさんです。IT技術での課題解決を仕事にしていますが、それだけでは解決できない問題にも直面。テクノロジーと心の両面から寄り添えるブログでありたいと、日々運営しています。詳しくはプロフィールページへ！