llama-modchip とは

llama-modchip（GitHub: synchopate/llama-modchip）は、ggml／llama.cpp へのカーネルパッチ、量子化トランスコーダ、ランタイム群を一式にした Apache-2.0 のオープンソースです。最大の特徴は、総パラメータ284.33B（活性13.17B）の MoE モデル DeepSeek-V4-Flash を、GPUなし・RAM 64GB のPCで、256Kトークンのコンテキスト込みで動かすことです。作者の報告では、Ryzen 9 9955HX（16コア）・64GB・GPUなしの環境で、プリフィル（プロンプト処理）が約43〜44 tok/s、通常のデコード（生成）が約9〜10 tok/s、自己投機的デコードを使うと約11.5〜14.7 tok/s です。2026年11月9日には Hacker News で「Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU」が423ポイントを集めました。

本稿では、2026年11月時点の README（v2.4.0）に基づき、何ができるか、必要スペック、仕組み、導入手順、llama.cpp 本家・Ollama・LM Studio・ktransformers との違い、向かない用途を整理します。本文中の速度・サイズ・精度の数値はすべて README に書かれた作者およびコミュニティの自己申告値であり、筆者が検証したものではありません。

- 何か: llama.cpp ベースの CPU 推論向け改造版。MoE モデルをシステムRAMだけで動かすことに特化している
- 何が動くか: DeepSeek-V4-Flash 284B（56.56GiB に再量子化）、Nemotron-3.5-30B-A3B、Qwen3-30B-A3B、Qwen3-14B、Nemotron-H-8B-128K
- 注意点: 専用の量子化形式（Fractal-64）を使うため、素の llama.cpp・Ollama・LM Studio では読み込めない

README が挙げる主な機能は3つです。

- 284BモデルをRAM 64GBに収める: Unsloth の UD-IQ1_S 版 DeepSeek-V4-Flash は76.87GiB（82.5GB）あり、64GBのLinuxで使える約62.5GiBを超えます。llama-modchip はこれを56.56GiB（実効1.71 bpw）まで縮め、256KトークンのKVキャッシュを含めたピークのVmRSSを57.61GiBに収めて、スワップなしで動かします
- CPUカーネルの最適化: プリフィルのマルチカラム・タイル化、MQA8 FlashAttention、MoE重みの非テンポラル読み出し（キャッシュを汚さない読み出し）による KV キャッシュの L3 保護などで、README では従来の約25 tok/s から約44 tok/s へプリフィルが上がったとしています
- 自己投機的デコードと高速な文脈復元: 約1.64MBの n-gram ドラフタ「Stockfish-PVS」で別モデルなしに複数トークンを先読みし、会話の KV スロットを /dev/shm に保存して数十ミリ秒で復元します（README 記載は13.1〜32.6ms）

付属の ./modchip コマンドには、対話チャット（chat）、Webチャット（web）、簡易ベンチマーク（bench）、Claude Code を手元の推論エンジンにつなぐ claude、品質ゲート（eval）、量子化（quantize）などが含まれます。

手元のGPU・Macで動くかをすぐ確かめたい場合は、モデル・量子化・コンテキスト長を選ぶだけで必要VRAMを試算できるVRAM計算ツール（無料・登録不要）も用意している。DeepSeek V4-Flash もモデル一覧から選択できる。ただしツールが想定するのは標準的な量子化での目安で、llama-modchip 独自の1.71 bpw 再量子化（約56.6GiB）は選択肢にないため、同ツールの値より小さく収まる点に注意してほしい。

DeepSeek-V4-Flash 本体の仕様や標準的な量子化でのメモリ要件は、DeepSeek V4 の必要スペックと料金の解説にまとめています。

README の 284B の数値は、Ryzen 9 9955HX（Zen 5・16コア・64GB DDR5・GPUなし）での測定です。ここでは Top-6 のロスレス設定（全ルーテッドエキスパートを評価する既定の動作）が約9.06〜9.95 tok/s、Top-5 設定が約9.7〜9.9 tok/s（perplexity が約+0.42%）とされています。Top-K を減らす設定は任意の実行時オプションで、速度と引き換えに品質が少し下がります。

30B級のモデルについては、コミュニティからの報告も README の表に載っています。Threadripper PRO 7985WX（256GB 8チャネルDDR5）で最大111.62 tok/s、Apple M4 Max（64GB）で約49〜58 tok/s、Ryzen 7 8745H（96GB DDR5-5600）で約19〜23 tok/s、Ryzen 5 7430U（32GB DDR4）で約13 tok/s といった値です。数字は「CPUのコア数とメモリ帯域に強く依存する」という傾向を示しており、帯域の広いデスクトップやワークステーションほど有利です。なお、これらの多くは 30B 級モデルでの値で、284B の DeepSeek-V4-Flash を同じ環境で動かした値ではない点に注意してください。

1. 層ごとに量子化を変える。 DeepSeek-V4-Flash では、256個のルーテッドエキスパートが容量の大半を占めるため、ここを主に IQ1_S（約1.56 bpw）にし、境界付近の敏感な層だけ IQ2_XXS や IQ1_M に残します。一方、埋め込み、共有エキスパート、MLA の主要な射影などは Q4_K／Q5_K／F32 など高精度のままです。MLA の一部（wq_b と出力側の射影）には独自の Fractal-64 形式（GGML_TYPE_Q2_0、type ID 40、64重みブロック＋BF16スケール）を使います。こうして76.87GiBから20.31GiBを削っています。量子化そのものの基礎は、KVキャッシュとコンテキスト長のメモリ解説も参考になります。

2. MoE は「全部ロードするが、毎トークンは一部だけ読む」。 MoE では総パラメータ分のメモリは必要ですが、1トークンの生成で実際に計算するのは活性分（ここでは13.17B）です。デコードの速度はおおむね「1トークンあたりに読むデータ量」と「メモリ帯域」で決まるため、Dense の284Bより桁違いに軽く、GPUなしでも10 tok/s 前後が現実的になります。逆に言うと、メモリ容量が足りない環境では動きません。

3. 自己投機的デコード。 別の小型モデルを使わず、直前の文脈から n-gram で次の数トークンを予測して一括検証する方式です。README では、コードのリファクタリングなど繰り返しの多い場面で受理率が高く、デコードが約9 tok/s から約11.5〜14.7 tok/s に伸びるとしています。文章の自由生成では伸びが小さくなると考えられます。

LinuxとmacOSでは、リポジトリを取得して ./modchip chat を実行するのが最短です。セットアップとチャットの起動がまとめて行われます。

ビルド済みのLinux x86_64バイナリとGGUFを Hugging Face から直接取得する方法もあります。README のコマンドは次のとおりです。284B のほうは約56.6GiB のダウンロードになる点に注意してください。

-t はスレッド数（物理コア数が目安）、-c はコンテキスト長です。Windows 10/11 向けには、GPUとCPUを組み合わせるハイブリッド構成のパック（windows フォルダの AVVIA_MODCHIP.bat）が用意されています。起動後は http://127.0.0.1:8080 の Web UI か、OpenAI互換のサーバとして使います。自分のPCが対応しているかは、モデルをダウンロードせずに確かめられる次のスクリプトで先に診断できます。

ネットからスクリプトを取得して直接実行する形なので、気になる場合は先にURLの中身を読んでから実行してください。

ポイントは互換性です。llama-modchip のモデルは独自のブロック形式を使うため、素の llama.cpp、Ollama、LM Studio では unknown tensor type 40 のエラーで読み込めません。逆に、llama-modchip 側は対応モデルが限られます。ktransformers については、大型MoEをGPUとCPUメモリに振り分ける別系統のフレームワークとして知られていますが、本稿では詳細な検証をしておらず、最新の仕様は各プロジェクトの文書で確認してください。ツール全体の位置づけはローカルLLM推論エンジンの比較とOllamaとLM Studioの比較、同じく独自GGUFを前提とするエンジンの例はDwarfStar（ds4）の解説にあります。

- 数値はすべて自己申告: 速度・メモリ・品質の値は作者とコミュニティの報告で、第三者による再現検証は確認していない。自分の環境で ./modchip bench を走らせて確かめるのが確実
- 品質の劣化がありうる: ルーテッドエキスパートの主体が約1.56 bpw（IQ1_S）という極端な低ビットで、同じモデルの高精度版と同等の品質とは考えにくい。README の「ロスレス」は同じチェックポイント上でカーネル変更による差がないという意味で、元モデルとの比較ではない
- 互換性: 独自形式のため、他のツールや既存のGGUF資産と使い回せない。更新もプロジェクトの進行に依存する
- Linux中心: 284B の検証はLinuxが中心。macOS・Windows は対応が書かれているが、284B を動かした報告は README では確認できない
- 速度は対話向けの下限: 約10 tok/s は読みながら使えるが、長文生成や多人数での同時利用には向かない。プリフィルが約44 tok/s なので、長いプロンプト（数万トークン）では最初の応答まで10分以上かかる
- メモリに余裕がない: 64GB で実測57.61〜58.9GiB を使うため、ブラウザや他のアプリを同時に動かすと余裕がなくなる
- 新しい個人プロジェクト: 業務で使う前に、ライセンスと更新状況を確認する

GPUを買わずに手元のメモリだけで巨大 MoE の挙動を試したい人、RAM 64GBのデスクトップやミニPCで 30B 級を軽快に動かしたい人、オフラインやプライバシー要件でクラウドAPIを使えない検証には向いています。反対に、品質を最優先する業務、複数人での同時利用、短時間で大量に処理するバッチ用途では、GPU搭載機かAPIを選ぶほうが現実的です。