何か作りたいエンジニアの奮闘記

ローカルLLMに自分のブログ全記事を読ませてAI検索を作ってみた〜"あの記事どこ?"をなくす〜

自分のブログ全記事(66本)をローカルLLMに読ませて、"あの記事どこ?"を出典つきで答えるAI検索(RAG)を作りました。以前作ったローカルAIエージェント(p935)への機能追加として実装。記事本文を抽出→チャンク分割→multilingual-e5で埋め込み→ローカルDBに保存し、質問に近い記事を探して記事タイトルとURLつきで回答します。RAGの仕組みを図解し、本文抽出・チャンク分割・ベクトル検索・出典つき回答のキモになる実装コードも掲載。すべてローカル完結で記事データは外に出ません。Macで作ったインデックスDBはコピーするだけでWindowsでも動きました。

ローカルLLMでAIエージェントを作ってみた〜Ministral 3 14Bで検索・PC操作・記憶まで完全ローカル〜

クラウド型AIエージェントの『有料・トークン消費が膨大』問題を、完全ローカルで解決できないか試作。Ministral 3 14B(Q4)をllama-cpp-pythonで動かし、Web検索・ファイル読み書き・PC操作（マウス/キーボード）・CLI/MCP・RAG記憶・画像理解を1つのデスクトップアプリに統合。緊急停止と重要操作の確認も実装。Mac(M4)で構築しWindows(RTX3060)でも検証。コード・設定値つきで解説します。

RAGとは何か〜ローカルLLMに自分の知識を組み合わせる仕組み〜

RAG（Retrieval-Augmented Generation）とは、LLMが知らない情報を外部ドキュメントから検索して補う仕組みです。OllamaのローカルLLM（llama3.2:3b）とnumpyだけで最小構成のRAGを実装し、実際に動かしてみました。