何か作りたいエンジニアの奮闘記

AI市場の現在と今後の動向を調べてみた〜ローカルLLMとクラウド型AIの今、推論性能とデータセンターの行方〜

AI市場はこの数年でどう変わったのか。ChatGPTの利用者数、推論の精度・速度・コストの変化、クラウド型AIを支えるデータセンターと電力、ローカルで動くAI（ローカルLLM）の今と市販PCの限界、GPU/VRAMの仕組み、メモリ半導体の高騰、Claude Fable 5が公開3日で止まった実例、そして市場の課題と今後を、最新統計（IEA・Gartner・Statista等）を出典つきで整理します。

Macのデスクトップアプリに軽量ローカルLLMを組み込んでオフライン動作させてみた〜“端末の中で動くAI”をMacで〜

ネット接続なしで動くAIアプリをMacで自作。軽量LLM（Qwen2.5-3B・gguf）をllama-cpp-pythonでデスクトップアプリに直接組み込み、PySide6のGUIで文章生成・要約をオフライン実行。Apple SiliconのGPU(Metal)で約38トークン/秒。インストール・モデル・コード・設定値まで再現できるよう解説します。

RAGとは何か〜ローカルLLMに自分の知識を組み合わせる仕組み〜

RAG（Retrieval-Augmented Generation）とは、LLMが知らない情報を外部ドキュメントから検索して補う仕組みです。OllamaのローカルLLM（llama3.2:3b）とnumpyだけで最小構成のRAGを実装し、実際に動かしてみました。