知識を蓄えることのできる、初めてのローカルLLM

2025年6月23日2025年6月24日

取り敢えず、192.168.0.8  の c:\Users\tomoi\rag_projectの中身でやったこと一覧

Ollamaは、どうやって知識を蓄えることができますか？

Ollama自体（正確にはOllama上で動くLLM）は「知識を蓄える（＝記憶を永続化する）」機能は原則持っていません。理由と補足は以下の通りです：

🔍 なぜOllama（＋LLM）は知識を蓄えないのか？

• Ollamaが実行するのは事前学習済みの言語モデル（例：LLaMA 3やMistral）であり、内部に知識を書き込む（＝学習させ直す）機能はない。

• 一時的な文脈（会話履歴など）は保持できるが、Ollama再起動や会話のリセットで消える。

✅ 知識を“蓄える”ように使いたい場合の方法

方法1: ベクトルDB＋RAGで「覚えさせる」

RAG (Retrieval-Augmented Generation) という手法を使うと、ローカルLLMでも“知識を覚えたように使う”ことができます。

構成例：

📌 つまり、「知識」を蓄えるのはLLMではなく、外部のベクトルデータベースです。

方法2: チューニング（学習）で知識そのものを埋め込む

これは本当の意味での「知識の蓄積」になりますが、難易度が高くなります。

方法

🧠「覚えているように見せる」簡易テク

• LangChainやLlamaIndexで、テキストやPDFファイルを渡すだけで“知識として答える”ように見せられる。

• これにより、対話履歴を記憶しているように錯覚させることも可能です。

現在、Ollamaが動いていますが、知識を“蓄える”ようにしたいですが、その前にRAGとチューニングの違いについて教えて下さい

はい、非常に重要な質問です。
以下に「RAG」と「チューニング（LoRAなど）」の違いと使い分けを、わかりやすく解説します。

🧠 RAG（Retrieval-Augmented Generation）とは？

▶ 特徴

• LLMの外部に知識を持たせる。

• 質問に応じて必要な情報を検索してLLMに与える。

• モデル自体は一切変更しない。

▶ イメージ

LLMが「図書館で調べながら答えてくれる」ような使い方

▶ メリット

• 高速かつ安全（モデル改変なし）

• データの更新が簡単（PDF差し替えなど）

• ローカルでも構築しやすい

▶ デメリット

• 検索精度に依存する（ベクトル検索や分割方法が重要）

• 外部検索結果に基づくため、「推論能力」に制限あり

🔧 チューニング（Fine-tuning / LoRA）とは？

▶ 特徴

• LLMのパラメータ自体を再学習する。

• モデル内部に知識を埋め込む。

• LoRA（Low-Rank Adaptation）を使うと軽量に実現可能。

▶ イメージ

LLMが「訓練して記憶を更新した頭脳を持っている」ような使い方

▶ メリット

• 対話スタイルやドメイン知識を完全に内面化できる

• オフラインでも即答できる（検索なし）

▶ デメリット

• 訓練が難しい（GPU・スクリプト・パラメータ設計）

• データの入れ替えが容易でない（再チューニングが必要）

• 学習エラーで性能が落ちることもある

🔄 RAG vs チューニング 比較表

🎯 どちらを使うべきか？

from langchain_community.vectorstores import Chroma
from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_ollama import OllamaEmbeddings, OllamaLLM

# 1. 知識となるテキストを読み込み
loader = TextLoader("docs/example.txt", encoding="utf-8")
documents = loader.load()

# 2. テキストをチャンクに分割
text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
texts = text_splitter.split_documents(documents)

# 3. Ollama埋め込みモデルでベクトル化
embedding = OllamaEmbeddings(model="nomic-embed-text")

# 4. ChromaでベクトルDBに保存（自動永続化）
db = Chroma.from_documents(texts, embedding, persist_directory="./chroma_db")

# 5. Ollama本体モデル（例：llama3）
llm = OllamaLLM(model="llama3")

# 6. RAG構成（Retriever + LLM）
qa = RetrievalQA.from_chain_type(llm=llm, retriever=db.as_retriever())

# 7. 対話ループ
print("終了したいときは 'exit' または 'quit' と入力してください。\n")
while True:
    query = input("質問 > ")
    if query.strip().lower() in ["exit", "quit"]:
        break
    result = qa.invoke({"query": query})
    print("答え:", result["result"])