「ローカルLLM」のコラム

PrismMLが2026年9月17日に公開したTernary Bonsai 2 27Bを解説。Qwen3.8-27Bを三値重み量子化し1.76bit・5.9GBに圧縮、RAM16GBや24GB GPU一枚で動作する。精度はFP16比98.2%を維持し、Apache 2.0で商用利用も可能。2026年9月更新。

MiMo-V2.6はFlashが4bitで約170〜190GB・FP8で約320〜350GB、Proは4bitでも約550〜600GB、9B蒸留版は4bitで約6〜7GBが目安（推定）。2026年9月22日にXiaomiが公開したMITライセンス全3モデルの構成・ベンチマーク・料金・他モデル比較を整理した。

Google AI Edge GalleryのMac版なら16GBメモリのApple Silicon MacでGemma 4 12B（約6.9GB）を完全オフラインで実行できる。必要スペックの見極め方やインストール手順、実測速度（MacBook Air M4で15 tok/s）まで解説する。2026年9月更新。

GitHub Trendingで注目を集めたJustVugg/colibriを解説。GLM-5.2（744B）をディスクからのエキスパートストリーミングで一般PCで動かす仕組み、対応モデル、ビルド・使い方、必要スペック、llama.cpp・Ollama・Edge0・turbo-fieldfareとの違いを整理する。

2026年9月公開のEdge0-35B-A3B-previewは、Qwen3.5-MoE 35B-A3Bを4bit量子化し、SSDからエキスパートを都度ストリーミングすることでアクティブメモリ3GiB未満・約15〜18tok/sで動かすMLX向けモデル。仕組み・必要ハード・使い方・llama.cppやColibriとの違いを整理する。

2026年9月7日にOpenBMBが公開したMiniCPM5-2B（2.52B・Dense・131Kコンテキスト・Apache-2.0）の必要RAM/VRAMは量子化次第で1.5GB台〜5GB台。GGUFのサイズ表とOllama/llama.cppでの動かし方、Qwen3.5-4Bとの比較をまとめた。

2026年9月8日にNex-AGIが公開したエージェント特化モデル群Nex-N2.5（Mini 35B／Pro 397B／Max 1.6T）の必要VRAMは、量子化と機種によって約22GBから1.6TB級まで幅がある。モデル別・量子化別の早見表とGPU/Apple Silicon構成の目安をまとめた。

DeepSeek V4.1-Flashが2026年9月10日発表。総552B・アクティブ8B/16BのMoEで、KVキャッシュは890バイト/tokenと前世代比約4分の1に圧縮された。MITライセンスで重み公開、商用利用も可能。API料金・必要VRAM早見表・公表済みベンチマークの結果を整理して解説する。

2026年9月時点、MBZUAI傘下IFMが公開したK2 Horizon（6モデル・0.9B〜375B）の必要VRAMは量子化次第で1GB未満から750GB級まで幅がある。モデル別・量子化別の早見表とGPU/Apple Silicon構成の目安をまとめた。

MagnitudeはマシンのCPU/GPU/メモリをプロファイリングし、動く最良のモデルを推薦・ダウンロード・チューニングして起動するOSSのローカル推論サーバ。Claude CodeやCodexなど既存エージェントに接続する使い方とOllama等との違いを2026年9月時点の一次情報でまとめた。

AMD Threadripper Halo Stationは2026年9月4日IFA発表のデスクサイド型AIワークステーション。96コアCPUとMI350P最大4枚でHBM3E最大576GB・帯域16TB/sを実現し4bit量子化で1兆パラメータ級モデルの実行を狙う。価格・発売時期は未発表。2026年9月更新。

Upstage Solar-Open2-250B（アクティブ15BのMoE）の必要スペックを整理。GGUF量子化はIQ4_XSで約127GB、Q2_Kで約89GB、Q6_Kで約191GBが目安となる。公式推奨はH200×4〜8枚だが、単一96GB GPUでも動作可能。2026年9月時点の情報を基に解説する。

ローカルLLMのVRAM不足の多くはモデル重みではなくKVキャッシュが原因です。KVキャッシュ量は2×レイヤ数×KVヘッド数×ヘッド次元×コンテキスト長×精度バイト数で概算でき、7B級のモデルでも128Kコンテキストで約17GBに達します。GQA/MQAと量子化による削減、OOM回避の実践設定を解説します。

Qwen3.8-Flash-Nextを動かす必要メモリは量子化により約75GB（1-bit）〜354GB（BF16フル精度）が目安。125B総パラメータ・アクティブ約6BのオープンウェイトMoEで、MoEエキスパートオフロードを使えばRTX 4090 24GBのような単一コンシューマGPUでも動作報告がある一方、公式vLLM/SGLangのFP8サービングは250GB規模の複数GPUが必要。VRAM・量子化・GPU構成の早見表を整理する【2026年8月】。

Hy4 previewを動かす必要メモリは4-bit量子化で約385GB、BF16フル精度なら約1.54TB。Tencentが2026年8月にApache 2.0で公開した総パラメータ770B・アクティブ49BのMoEで、1Mトークンのコンテキストに対応する。VRAM・GPU構成の早見表を整理する。

GLM-5.3-Flashを動かす必要メモリは4-bit量子化で約190GB、BF16フル精度なら約740GB。話題のステルスモデル「Ox Alpha」の正体は320B総パラメータ／18BアクティブのオープンウェイトMoEだったと判明。VRAM・量子化・GPU構成の早見表を整理する【2026年8月】。

2026年8月25日、Oasis SecurityはNVIDIA NemoClawのOllama連携設定に起因する脆弱性CVE-2026-65105を公開した。DNSリバインディングでチャットテンプレートが書き換えられ、会話に永続的な指示が注入される仕組みと、影響確認の手順・緩和策を技術者向けに解説する記事である。

Ornith-1.5はVRAM 8GB〜800GBで動くMITライセンスのオープンウェイトLLM。9B・35B-A3B・397Bの3サイズを量子化別に整理し、GPU選定やKVキャッシュ増加の注意点、Ornith-1.0からの変更点まで解説する必要スペック早見表を丁寧に紹介する。2026年8月時点の情報。

oMLXはApple Silicon Mac専用のオープンソースLLM推論サーバ。階層KVキャッシュ（RAM＋SSD）と連続バッチングで複数リクエストを効率処理し、メニューバー常駐のmacOSアプリから管理できる。2026年8月時点でGitHub Trending週間上位・スター約2万。機能・要件・使い方・Ollama等との違いを解説。

2026年8月21日公開のDeepSeek-V4-Flash-Vision-Expは、8月31日にMITライセンスでHugging Faceにオープンウェイト公開された。API単価は変わらず、チェックポイントはFP4/FP8混在で168GB規模。ローカル実行の要件と、APIを使い続けるべきケースを整理した。

Unsloth Dynamic 3.0は学習後量子化(PTQ)のGGUF手法。imatrixキャリブレーションとレイヤー選択方式を刷新し、同じファイルサイズで他プロバイダ比top-1%精度が最大10%向上。2.0からの変更点、量子化ティア早見表、使い方をQwen3.8-27Bの実測値で解説。2026年8月更新。

Needle 2は45Mパラメータ・単一14MBバイナリで動くCactus Compute製のオンデバイス・エージェント向け小型LLM。tool calling／device use／structured extractionに特化し、Raspberry Pi 5から廉価スマホまで動作。仕組みと導入方法を解説（2026年8月更新）。

2026年8月15日にweightsが公開されたQwen3.8-27Bの必要VRAMを、公式配布ファイルの実容量から早見表で解説。Q4_K_Mは17.1GBで16GB GPUには載らず、IQ4_XS（15.7GB）が現実解となる。ライセンスはApache-2.0で商用利用可。

ローカルLLMの推論エンジンはどれを選ぶべきか。単機・個人利用はOllamaやllama.cpp、Apple SiliconはMLX、多数同時接続を捌くサーバはvLLM、NVIDIA本番の最適化はTensorRT-LLMが向く傾向を、対応フォーマット・量子化・VRAMやKVキャッシュの扱いの違いまで含めて整理する。

NVIDIAが発表したNemotron 3.5 Lightningは総パラメータ30B・アクティブ3BのMoEモデルで出力スループット最大4倍を実現する。ルーティングライブラリNeMo Switchyardは精度を保ったまま完了コストを約3分の1に削減。常時稼働エージェント向けの新スタックを解説する。

Muse Glimmer 30Bは4bit量子化で約20GB、24GBのGPUやMacで動作します。Metaが2026年8月10日に発表したエージェント特化のオープンウェイトモデルの必要VRAM・GPU・Mac対応状況を量子化別の早見表で整理し、RTX 5090やM4 Maxでの動作目安も解説。2026年8月更新。

Liquid AIが2026年8月公開したオンデバイス・エージェント特化モデル「LFM2.5-2.6B」を解説。パラメータ2.69B、メモリ2.5GB未満、128Kコンテキスト、ToolSandboxでQwen3.5-9Bを上回った公表値、量子化別メモリ目安、実測速度、ライセンス、動かし方まで網羅する。

Shieldstral 1.0 3BはMistral AIが2026年8月4日に公開したApache 2.0のオープンウェイト・マルチモーダル安全性審査モデルだ。BF16推論時のVRAM目安は16GBで、テキストと画像を単一モデルで一括審査できる。入出力フォーマットと動かし方のポイントをまとめて解説する。

MiniMax H3は2026年8月3日にオープンウェイトが公開された、動画と音声を同時生成するモデル。ComfyUI推奨の最小構成なら配布ファイル合計は約42.5GB、VRAMはコミュニティ報告で24GB前後（12GBでも動作しうるとの報告あり）が目安。量子化別の必要スペックとGPU選びをまとめた早見表を示す。

WASTEは2.78兆パラメータのKimi K3をRAM29GBのノートPCで動かせるC製推論エンジン。NVMeから専門家重みをストリーミングし先読みルータで計算とI/Oを重ねる仕組みと実測スループット0.45〜0.62 tok/sを解説。ビルド手順やUSB外付けとの速度差、量子化、実用性の限界まで整理する。

LG AI Researchが2026年7月31日公開のK-EXAONE 2.0 750B-A37Bは総パラ750B・BF16で重み約1.5TB。FP8で750GB、4bit級でも375〜420GBが必要な条件と、Apache 2.0ライセンス・日本語対応・vLLM/SGLangのカスタムfork事情を整理します。

Apple Silicon Mac上でQwen3-ASRをMLXで動かし、文字起こしとシステム全体の音声入力（ディクテーション）を完全ローカルで行うOSS「Qwen Scribe」を解説。必要メモリは1.7Bで約3.4GB・0.6Bで約1.2GB。動作要件、導入手順、右⌘押しながら話すだけの使い方、SRT出力、必要な3つの権限、Whisper系との違い、業務で使う際の注意点までGitHub公式READMEの一次情報に基づき整理します（2026年7月）。

Moonshot AI が Kimi K3（2.8兆パラメータMoE）のweightsを2026年7月26日に公開。MXFP4で重みだけ約1.4TB、実質H100 80GB×64基級のクラスタが必要で単体GPUやMacでは動きません。必要ハードと現実的な3択を整理。

ローカルLLMを動かすとき、まず選ぶべきは Q4_K_M。VRAMに余裕があれば Q5_K_M / Q6_K で品質が上がります。GGUF量子化の命名規則、各レベルの品質・速度・VRAMのトレードオフ、IQ系（imatrix）との違い、用途別の選び方を解説。Updated July 2026。

ローカルLLMを動かす二大ツール、Ollama と LM Studio を2026年版で比較。CLI型とGUI型の違い、インストール・使い方・API・対応OS・モデル形式を整理し、用途別の使い分けを解説します。

LongCat-2.0はMeituan公開の1.6TパラメータMIT MoEモデル。ローカル実行はBF16で約3,800GB、INT4でも約970GB級のメモリが必要で個人PCでは動かない。必要スペック早見表とAPI料金（入力$0.75/出力$2.95・100万トークンあたり）を2026年7月時点でまとめた。

DeepSeek V4 をローカルで動かす必要メモリは、V4-Flash（284B）が4-bitで約160GB、V4-Pro（1.6T）が4-bitで約920GB。7月31日公開の V4-Flash-0731 はスペック据え置きで性能のみ向上した。量子化別のVRAM・RAM早見表、API料金、1MコンテキストのKVキャッシュ、旧モデル廃止への移行手順まで。Updated August 2026。

Nemotron 3 Nanoは4-bitで約18GB、Superは8×H100-80GB、UltraはNVFP4で4×B200が公式の目安。NVIDIAのオープンウェイトMoE 3モデルの必要VRAM・GPU構成・量子化別メモリを早見表で整理する。2026年7月時点。

GLM-5.2（Z.ai）を動かす必要メモリは4-bit量子化で約430GB、BF16フル精度なら約1.5TB。753B総パラメータ／約40BアクティブのオープンウェイトMoE（MITライセンス）をローカル実行するためのVRAM・量子化・GPU早見表。2026年7月時点で最強クラスのオープンウェイトモデルの動作環境を整理。

Inklingの必要メモリは最小280GB（1-bit量子化）、4-bitで約600GB、BF16フル精度で1.9TB。975B総パラメータ/41BアクティブのオープンウェイトMoEを動かすVRAM・RAM・ディスク・量子化別要件を早見表で一覧化。2026年7月版。

Kimi K3は2.8兆パラメータのオープンウェイトMoE（weightsは2026年7月27日公開予定）。フロントエンドコードArenaで1位。API料金は入力$3/出力$15（100万トークン）。ローカル実行は推定650GB〜1TBでサーバー級が必要。K2からの違いを解説。

NVIDIA DGX Spark（GB10 Grace Blackwell Superchip、128GB ユニファイドメモリ、約 1 PFLOPS FP4、$4,699）の主要スペックと、機密性の高いコード資産の解析・移植案件で「ローカルLLMで分析・個人情報分離→他社LLMで移植」というリスクヘッジを組むための具体的な運用パターンを解説します。クラウドAIのオプトアウトでは経営承認が下りないケースをどう乗り越えるか、実務目線で整理。

NousResearch Hermesシリーズの最新版Hermes 4.3 36B（512Kコンテキスト）とエージェントフレームワーク「Hermes Agent」を徹底解説。Function Calling実装例、Ollama対応、ハードウェア要件まで網羅した2026年版完全ガイド。

2026年4月時点の主要ローカルLLM10モデルを徹底比較。SWE-benchスコア・日本語性能・VRAM要件・Ollamaコマンド・ライセンスを一覧化。Gemma 4、Llama 4、Qwen 3.5、GLM-5.1、Kimi K2.5、MiniMax M2.5など最新モデルを網羅したガイド。

Qwen 3.5 27B DenseとMoE 35B-A3Bの違い、24GB GPUでの動作要件、DFlash技術による2〜3倍高速化、Ollamaセットアップ手順をわかりやすく解説します。

Gemma 4 E4BはGoogleが2026年4月にリリースした4.5BパラメータのエッジAIモデルです。Apple SiliconやRaspberry Piでのローカル動作手順、マルチモーダル機能、量子化設定、ベンチマーク比較まで徹底解説します。

Anthropic Claude制限変更を受け、Qwen 3.5-9B、Mistral Small 4、DeepSeek R1、Gemma 4、Llama 4などのローカルLLMを徹底比較。日本語性能、ハードウェア要件、用途別おすすめモデルを詳細解説します。

AI API従量課金時代のコスト最適化戦略を徹底解説。Claude・GPT・Geminiの料金比較、プロンプトキャッシュ・バッチAPI・ローカルLLMハイブリッド運用など5つの削減テクニック、月間コストシミュレーション、ROI計算方法まで完全網羅。

ハイブリッドAI戦略（クラウドAPI＋ローカルLLM）でAI運用コストを50%以上削減する実践ガイド。Qwen 3.5、DeepSeek R1などのローカルモデルとClaude、GPT、Geminiを組み合わせた最適なアーキテクチャ設計と実装手順を解説します。

Googleが2026年4月2日にリリースしたGemma 4の完全ガイド。E2B、E4B、26B MoE、31B Denseの4バリアント、Apache 2.0ライセンス、マルチモーダル対応など最新情報とOllamaでの実行方法を詳しく解説します。

Gemma 4、Llama 4、Qwen 3.5の3大ローカルLLMを徹底比較。ベンチマーク性能、ライセンス、日本語対応、ハードウェア要件、ユースケース別の選定基準を詳しく解説します。