「MoE」のコラム

KRAFTONのRaon-1 mini previewは総28.8B・活性約4.3BのMoE。4bitの重みは約16〜20GBで24GBのGPUに収まる。量子化別のサイズ、動かし方、ベンチマーク、同クラスとの比較を整理。2026年10月更新。

Kimi K3.1 Proの必要スペックを整理。約2.8T MoEは4bitで約1.4TB（推定）、API料金はK3より1/3安い入力$2/出力$10。重みは11月4日までに公開予定で数値は推定。2026年10月更新。

MiniMax M3.1 Flash（428B・活性23B）は4bitで重み約250GB、必要メモリは260〜300GB。メモリ512GBのMacかGPU4枚が前提。量子化別サイズ、100万トークンのKVキャッシュ約35GB、API料金、ライセンスの注意点、動かし方まで詳しく解説。2026年10月更新。

Recursive Flint（40B-A2.5B）は4bitで重み約23〜26GB、必要メモリは24〜30GB。24GBのGPUは3bit、12GBはオフロード、全262K文脈は48GB推奨。量子化別サイズ、RTX 5090の実測速度、使い方、トラブル対処、Mac構成まで解説。2026年10月更新。

DeepInferは、DeepSeekが公開したApache 2.0の推論フレームワーク【2026年10月】。対応はDeepSeek-V4.1-FlashとSM100 GPU・Ascend 950。動作要件、最短の使い方、EP/DP/CPの意味、vLLMやSGLangとの違い、未公開の部分を整理する。

Nemotron 3.5 Bolt 74B-A9B（24GB版）はGGUF約22GB、必要メモリは24〜32GBでRTX 5090やMac 32GBが下限の目安。128K/256Kの食い違い、実測速度、Gemma 4・Qwen3.6との比較、使い方、OOM対処までまとめて解説。2026年10月更新。

MiniCPM-V 4.7 35B-A3B（Apache-2.0）の必要VRAMを推定で解説。4bitは約20〜22GBでRTX 4090/5090や32GB Macが目安、BF16は70GB超。iPhone3GB動作の仕組み、vLLM・GGUFでの使い方、メモリ不足（OOM）の対処も整理。2026年10月更新。

DeepSeek V4.1 Flash（1017版）の必要スペックは、公式配布の重みで約510GB、4bit級で約430GB。H200×8か512GB級のMacが前提。総パラメータ763B/552Bの食い違いの理由、量子化別メモリ、KVキャッシュ約0.9GB、9/10版からの変更点、API料金まで解説する。

LFM2.5-24B-A2Bの必要スペックは、Q4_K_Mで約14〜15GB。VRAM 16GBのGPUか24GB以上のMacで動く。2026年10月公開の24B MoE（活性約2.45B）について、量子化別のメモリ、GPU・Mac別の推奨構成、実測速度、ベンチマーク、商用ライセンスまで詳しく解説する。

Meta Muse Spark Open（総816B・アクティブ42B）の必要VRAMは公式でBF16約2TB、4bit最低700GB。Mac Studio M5 Ultra 2台でのMLX動作、H200構成、1MコンテキストのKVキャッシュ推定、ライセンスの商用条件まで整理。2026年10月16日更新。

2026年10月公開のFish Audio Drama 3を解説。35B MoEのオープンウェイトTTSで、公式の最小要件は未公表、自前運用はVRAM48GB級が目安。年間売上50万ドル未満なら商用無料のライセンス、API料金、SGLang-Omniでの起動とAPI呼び出しの使い方まで詳しく整理した。

Holo4-35B-A3B（Apache-2.0）の必要VRAMを推定で解説。4bitは約20GB、BF16は約80GBでRTX 4090/5090や32GB Macが目安。27Bは非商用。vLLM・GGUFでの使い方、API費用、安全な運用、メモリ不足（OOM）の対処も整理。2026年10月更新。

Janas-LLMは重みをSSDに置き必要なMoEエキスパートだけを読み込むC製エンジン。RAM 32GBで80B級のQwen3-Nextが生成24トークン/秒で動作（作者実測）。必要スペック早見表、llama.cpp比較、導入手順と使い方、注意点、HNの評価まで解説します（2026年10月13日時点）。

Mistral Large 4（総1T・アクティブ49BのMoE）の必要メモリは推定でFP8約1TB、4bit約500〜580GB。H200×8やMac Studio 2台での可否、API利用との費用比較、他の大型MoEとの違いまで整理。2026年10月更新、重みは10月末公開予定のため数値は推定値だ。

Reflection Beam（総パラメータ501B・アクティブ23BのMoE・Apache 2.0）の必要メモリは推定でFP8約501GB、4bit約250〜290GB。H100×8やMac 512GB、CPUオフロードでの可否と予算別の構成例を整理。2026年10月時点で重みは未公開のため推定値。

StrataはQwen3.8-Flash-Next（125B MoE）をVRAM 12GBのゲーミングPCで動かすMIT Licenseの推論エンジン。RTX 5070で94トークン/秒（README実測）。2026年10月時点の必要スペック、導入手順、Claude Code連携を解説。

Kolibri-1の必要メモリはFP8で約78GB、H200×1枚またはH100×2枚から動作する。Aleph Alphaが公開した総78B・アクティブ3.46BのApache 2.0 MoE。精度別VRAM早見表・vLLM起動例・日本語非対応の注意点を整理【2026年10月】。

Index-Translateの必要VRAMは2Bで約2GB、9Bで約6GB、35B-A3Bで約21GBから（4bit時）。bilibili公開のApache 2.0・150言語対応の翻訳モデルを、NVIDIA GPU・Mac・CPU別のスペック目安と量子化、vLLMでの使い方まで解説。2026年10月更新。

DwarfStar（ds4）はRedis作者antirezのMITライセンスのローカルLLM推論エンジン。DeepSeek V4/V4.1・GLM 5.3・Qwen3.8を96〜128GBのMacやDGX Sparkで動かす。2026年10月時点のメモリ要件、導入手順、Claude Code連携、実測値を解説。

Fireworks AI「Ember-1」はKimi K3を後学習し出力トークンを約40%削減した推論モデル。ベンチマーク結果・料金体系・APIコード例・Kimi K3との違い・ローカル実行不可などの注意点までまとめて解説する。現在は研究プレビューとして2週間限定で提供されており、注目度の高い新モデルとなっている。

MiMo-V2.6はFlashが4bitで約170〜190GB・FP8で約320〜350GB、Proは4bitでも約550〜600GB、9B蒸留版は4bitで約6〜7GBが目安（推定）。2026年9月22日にXiaomiが公開したMITライセンス全3モデルの構成・ベンチマーク・料金・他モデル比較を整理した。

Atria Dawn Previewは4bit量子化で約400GB、FP8で約780GB、BF16で約1,500GBのメモリが目安（推定値）。744B MoEの基本情報・自己申告ベンチマーク・API有無・他モデル比較を整理した。

GitHub Trendingで注目を集めたJustVugg/colibriを解説。GLM-5.2（744B）をディスクからのエキスパートストリーミングで一般PCで動かす仕組み、対応モデル、ビルド・使い方、必要スペック、llama.cpp・Ollama・Edge0・turbo-fieldfareとの違いを整理する。

2026年9月公開のEdge0-35B-A3B-previewは、Qwen3.5-MoE 35B-A3Bを4bit量子化し、SSDからエキスパートを都度ストリーミングすることでアクティブメモリ3GiB未満・約15〜18tok/sで動かすMLX向けモデル。仕組み・必要ハード・使い方・llama.cppやColibriとの違いを整理する。

2026年9月8日にNex-AGIが公開したエージェント特化モデル群Nex-N2.5（Mini 35B／Pro 397B／Max 1.6T）の必要VRAMは、量子化と機種によって約22GBから1.6TB級まで幅がある。モデル別・量子化別の早見表とGPU/Apple Silicon構成の目安をまとめた。

DeepSeek V4.1-Flashが2026年9月10日発表。総552B・アクティブ8B/16BのMoEで、KVキャッシュは890バイト/tokenと前世代比約4分の1に圧縮された。MITライセンスで重み公開、商用利用も可能。API料金・必要VRAM早見表・公表済みベンチマークの結果を整理して解説する。

2026年9月時点、MBZUAI傘下IFMが公開したK2 Horizon（6モデル・0.9B〜375B）の必要VRAMは量子化次第で1GB未満から750GB級まで幅がある。モデル別・量子化別の早見表とGPU/Apple Silicon構成の目安をまとめた。

Upstage Solar-Open2-250B（アクティブ15BのMoE）の必要スペックを整理。GGUF量子化はIQ4_XSで約127GB、Q2_Kで約89GB、Q6_Kで約191GBが目安となる。公式推奨はH200×4〜8枚だが、単一96GB GPUでも動作可能。2026年9月時点の情報を基に解説する。

ローカルLLMのVRAM不足の多くはモデル重みではなくKVキャッシュが原因です。KVキャッシュ量は2×レイヤ数×KVヘッド数×ヘッド次元×コンテキスト長×精度バイト数で概算でき、7B級のモデルでも128Kコンテキストで約17GBに達します。GQA/MQAと量子化による削減、OOM回避の実践設定を解説します。

Qwen3.8-Flash-Nextを動かす必要メモリは量子化により約75GB（1-bit）〜354GB（BF16フル精度）が目安。125B総パラメータ・アクティブ約6BのオープンウェイトMoEで、MoEエキスパートオフロードを使えばRTX 4090 24GBのような単一コンシューマGPUでも動作報告がある一方、公式vLLM/SGLangのFP8サービングは250GB規模の複数GPUが必要。VRAM・量子化・GPU構成の早見表を整理する【2026年8月】。

Hy4 previewを動かす必要メモリは4-bit量子化で約385GB、BF16フル精度なら約1.54TB。Tencentが2026年8月にApache 2.0で公開した総パラメータ770B・アクティブ49BのMoEで、1Mトークンのコンテキストに対応する。VRAM・GPU構成の早見表を整理する。

GLM-5.3-Flashを動かす必要メモリは4-bit量子化で約190GB、BF16フル精度なら約740GB。話題のステルスモデル「Ox Alpha」の正体は320B総パラメータ／18BアクティブのオープンウェイトMoEだったと判明。VRAM・量子化・GPU構成の早見表を整理する【2026年8月】。

2026年8月21日公開のDeepSeek-V4-Flash-Vision-Expは、8月31日にMITライセンスでHugging Faceにオープンウェイト公開された。API単価は変わらず、チェックポイントはFP4/FP8混在で168GB規模。ローカル実行の要件と、APIを使い続けるべきケースを整理した。

2026年8月14日公開のGLM-5.3は、GLM-5.2と同じ743Bベースをpost-trainingのみで強化した。自社評価でコーディング能力が約50パーセント向上し、Terminal-Bench 3.0など複数のベンチマークでオープン系1位。ただし重みは未公開でAPI経由のみ利用できる点を整理する。

DeepSeek V4 Proの正式版「V4-Pro-0813」が2026年8月12日にGA到達し、主要ベンチマークが大幅改善した。だが8月16日からAPI料金が値上げされ、出力単価は約2.3倍に。MIT公開のエージェント基盤DeepSeek Harness v0.1も含めて実務判断のポイントを解説する。

Qwen3.8 Maxは2026年8月3日にアリババが発表した総パラメータ2.4TのスパースMoEモデルで、1トークンあたり約95Bを活性化する。SWE-bench解決率は87.3%。API料金は入力$2.00・出力$6.00/100万トークンから。オープンウェイト公開予告も解説する。2026年8月更新。

WASTEは2.78兆パラメータのKimi K3をRAM29GBのノートPCで動かせるC製推論エンジン。NVMeから専門家重みをストリーミングし先読みルータで計算とI/Oを重ねる仕組みと実測スループット0.45〜0.62 tok/sを解説。ビルド手順やUSB外付けとの速度差、量子化、実用性の限界まで整理する。

LG AI Researchが2026年7月31日公開のK-EXAONE 2.0 750B-A37Bは総パラ750B・BF16で重み約1.5TB。FP8で750GB、4bit級でも375〜420GBが必要な条件と、Apache 2.0ライセンス・日本語対応・vLLM/SGLangのカスタムfork事情を整理します。

Moonshot AI が Kimi K3（2.8兆パラメータMoE）のweightsを2026年7月26日に公開。MXFP4で重みだけ約1.4TB、実質H100 80GB×64基級のクラスタが必要で単体GPUやMacでは動きません。必要ハードと現実的な3択を整理。

LongCat-2.0はMeituan公開の1.6TパラメータMIT MoEモデル。ローカル実行はBF16で約3,800GB、INT4でも約970GB級のメモリが必要で個人PCでは動かない。必要スペック早見表とAPI料金（入力$0.75/出力$2.95・100万トークンあたり）を2026年7月時点でまとめた。

DeepSeek V4 をローカルで動かす必要メモリは、V4-Flash（284B）が4-bitで約160GB、V4-Pro（1.6T）が4-bitで約920GB。7月31日公開の V4-Flash-0731 はスペック据え置きで性能のみ向上した。量子化別のVRAM・RAM早見表、API料金、1MコンテキストのKVキャッシュ、旧モデル廃止への移行手順まで。Updated August 2026。

Nemotron 3 Nanoは4-bitで約18GB、Superは8×H100-80GB、UltraはNVFP4で4×B200が公式の目安。NVIDIAのオープンウェイトMoE 3モデルの必要VRAM・GPU構成・量子化別メモリを早見表で整理する。2026年7月時点。

GLM-5.2（Z.ai）を動かす必要メモリは4-bit量子化で約430GB、BF16フル精度なら約1.5TB。753B総パラメータ／約40BアクティブのオープンウェイトMoE（MITライセンス）をローカル実行するためのVRAM・量子化・GPU早見表。2026年7月時点で最強クラスのオープンウェイトモデルの動作環境を整理。

Inklingの必要メモリは最小280GB（1-bit量子化）、4-bitで約600GB、BF16フル精度で1.9TB。975B総パラメータ/41BアクティブのオープンウェイトMoEを動かすVRAM・RAM・ディスク・量子化別要件を早見表で一覧化。2026年7月版。

Kimi K3は2.8兆パラメータのオープンウェイトMoE（weightsは2026年7月27日公開予定）。フロントエンドコードArenaで1位。API料金は入力$3/出力$15（100万トークン）。ローカル実行は推定650GB〜1TBでサーバー級が必要。K2からの違いを解説。

**Google DeepMind の Gemma Team が [arXiv:2607.02770](https://arxiv.org/abs/2607.02770) として 2026-07-02 に Gemma 4 Technical Report を公開**。**2.3B / 12B / 31B のパラメータ範囲**、**Dense と MoE の両バリアント**、**text / image / audio ネイティブマルチモーダル**、**12B は encoder-free 統一設計**（raw audio と image patches を追加エンコーダなしで直接処理）、**reasoning mode（thinking mode）標準搭載**、**改良された vision / audio エンコーダ**、**推論速度・メモリ効率・long context の architectural refinement**、**STEM / multimodal / long-context ベンチで上位オープンモデルと競合**。300 名以上の著者による大規模プロジェクト。オープンウェイトのため商用利用可、Hugging Face・Ollama で配布。位置付けは [Qwen 3.6-35B-A3B](../columns/qwen36-35b-a3b-uncensored-abliterated-2026-07)・[ローカル LLM 2026 年 6 月版](../columns/local-llm-landscape-2026-june-update) と並ぶオープンウェイト最前線の新章。**Google の open-weights 戦略の到達点**、encoder-free unified 設計は Qwen / Llama / DeepSeek のマルチモーダル手法（別途 vision encoder + projection）と一線を画す。**reasoning mode** は Anthropic / OpenAI クローズドモデルの extended thinking との対称、オープン側の追随。留保: 商用ライセンスの詳細条件、systemic-risk（EU AI Act 10^25 FLOPs 閾値）該当可能性、Google Cloud Vertex AI との統合エコシステム偏重。

**Qwen3.6-35B-A3B-Uncensored / Abliterated** は、Alibaba の Qwen 3.6-35B-A3B（MoE、35B 総パラメータ / 3B アクティブ、262K context、hybrid attention）をベースに、**コミュニティ有志が『拒否挙動（refusal）を除去』した派生モデル群**（[HackerNoon 解説](https://hackernoon.com/qwen36-35b-a3b-uncensored-a-35b-moe-model-with-262k-context) / [HauhauCS Aggressive](https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive) / [huihui-ai abliterated](https://huggingface.co/huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated) / [wangzhang abliterated](https://huggingface.co/wangzhang/Qwen3.6-35B-A3B-abliterated) / [prithivMLmods Aggressive](https://huggingface.co/prithivMLmods/Qwen3.6-35B-A3B-Uncensored-Aggressive)）。 **ベースモデルの仕様**: **35B 総パラメータ / 3B アクティブ**（MoE、sparse expert 構造）、**40 層**、**hybrid attention**（linear + full softmax の **3:1 比率**）、**262K トークン native context**、**text / image / video** ネイティブマルチモーダル入力。Alibaba のオープンウェイト戦略の中核モデル。 **Abliteration 技術**: **『拒否方向』を LoRA ベースの steering** で attention / MLP projection から除去。追加で **Expert-Granular Abliteration (EGA)**（各層の expert down_proj スライス単位で abliteration）、**MoE router suppression**（safety expert を router 段階で無効化）という MoE 特化技法を組み合わせている。HauhauCS の内部テストでは **465 プロンプトのテストで 0 refusal** と報告。ベース Qwen 3.6-35B の能力は 100% 維持しつつ、refusal のみ除去する設計思想。 **複数バリアント**: - **HauhauCS-Aggressive**（[HF](https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive) / [Ollama](https://ollama.com/fredrezones55/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive)）: 最も aggressive な refusal 除去 - **huihui-ai Huihui-Qwen3.6-abliterated**（[HF](https://huggingface.co/huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated) / [Ollama](https://ollama.com/huihui_ai/Qwen3.6-abliterated)）: 実績ある huihui-ai チームの手法 - **wangzhang abliterated**（[HF](https://huggingface.co/wangzhang/Qwen3.6-35B-A3B-abliterated)） - **prithivMLmods Uncensored-Aggressive**（[HF](https://huggingface.co/prithivMLmods/Qwen3.6-35B-A3B-Uncensored-Aggressive)） 各バリアントは **量子化オプション**（GGUF Q4 / Q5 / Q8 / FP16 等）を用意しており、コンシューマ GPU（RTX 5090 32GB）から H100 まで幅広いハードウェアで実行可能。 **倫理・法的論点**: Abliterated モデルは **本来 Qwen が拒否すべき有害コンテンツ（違法薬物・攻撃コード・危険物合成等）を生成し得る**。研究目的・脱獄耐性検証・ロールプレイ・成人向けコンテンツ生成等の合法用途は存在するが、**業務利用・エンタープライズ導入では強い法的リスク**。EU AI Act（2026-08 施行）や日本の PPC ガイドラインへの適合も懸念。**責任は完全に利用者側**、Alibaba / Qwen チームは関与せず。 **位置付け**: [ローカル LLM 2026年6月最新版](../columns/local-llm-landscape-2026-june-update)・[Kimi K2.7-Code](../columns/kimi-k2-7-code-moonshot-ai-2026-06)・[Ornith-1.0](../columns/ornith-1-0-deepreinforce-agentic-coding-2026-06) と並ぶオープンウェイト LLM 領域の側面として、**『安全策を後から剥がす技術』が MoE 時代にも成立** している現実を示す事例。

Moonshot AI（北京）が2026年6月12日に公開したコーディング特化新フラッグシップ **Kimi K2.7-Code** を、[Hugging Face モデルカード](https://huggingface.co/moonshotai/Kimi-K2.7-Code)・[MarkTechPost](https://www.marktechpost.com/2026/06/12/moonshot-ai-releases-kimi-k2-7-code-a-coding-model-reporting-21-8-on-kimi-code-bench-v2-over-k2-6/)・[VentureBeat](https://venturebeat.com/technology/kimi-k2-7-code-cuts-thinking-tokens-30-practitioners-say-benchmarks-dont-check-out)を一次ソースに整理。**1T 総パラメータ / 32B アクティブ MoE**（384 expert / 8 active + 1 shared）、**256K コンテキスト**、MoonViT ビジョンエンコーダ400M、INT4 ネイティブ、思考モード強制有効。**Modified MIT License**（月間1億 MAU または $20M MRR 超でのみ Kimi K2 表示義務）、API は **入力 $0.95 / キャッシュヒット $0.19 / 出力 $4.00 per 1M トークン**（Claude Opus 4.8 の出力単価約1/18）。OpenAI 互換 + Anthropic 互換 API で Claude Code / Cursor / Aider / Cline / cmux に即組込可能。**K2.6 比でベンチ +21.8%、思考トークン -30%** と Moonshot 自社主張、ただし **公式ベンチがすべて自社プロプライエタリで SWE-bench Verified / Pro / FrontierCode の独立検証スコアは2026年6月15日時点で未公開**（VentureBeat 批判）。日本企業視点では **(1) `api.moonshot.cn` および Singapore 子会社経由の `api.moonshot.ai` ともに中国国家情報法第7条の compelled-disclosure リスク（2025年2月 PPC DeepSeek 注意喚起・デジタル庁事務連絡の precedent）、(2) Hugging Face セルフホスト（≥4-8 H100 / INT4 595GB）が Mizuho / Lion の Qwen 国内ファインチューン precedent パターンに沿った唯一の確実解** という2大論点を率直に整理しています。

DeepSeek が 2026年4月24日に公開した DeepSeek V4 Preview の概要。V4-Pro（1.6Tパラメータ / 49Bアクティブ）と V4-Flash（284B / 13B）の2モデル、100万トークンコンテキスト、Hugging Face でのオープン重み公開、API・チャットでの提供開始など、要点を公式情報ベースで整理します。

Z.aiが2026年4月7日にリリースしたGLM-5.1は、SWE-bench Proで58.4%を達成しGPT-5.4やClaude Opus 4.6を超えた世界初のオープンソースLLM。744Bパラメータ（40Bアクティブ）のMoEアーキテクチャ、MITライセンス、8時間自律タスクなど最新情報を完全解説。

Moonshot AIが2026年1月27日にリリースしたKimi K2.5は、1兆パラメータ（32Bアクティブ）MoEモデル。SWE-bench 76.8%、HumanEval 99.0%、GPQA Diamond 87.6%を達成しMITライセンスで公開。アーキテクチャ・ハードウェア要件・Ollama導入・ユースケースを完全解説。

2026年3月リリースのMistral Small 4は、推論・マルチモーダル・エージェントコーディングを1モデルに統合した119B MoE。Apache 2.0ライセンスで商用利用可能、日本語を含む11言語対応。スペック・導入手順・比較を完全解説。

MiniMax M2.5は独自のLightning AttentionによりコーディングベンチマークSWE-bench Verifiedで80.2%を達成したオープンMoEモデル。230B総パラメータ・10Bアクティブ。アーキテクチャ・ライセンス・導入手順を完全解説。

楽天が開発した約7000億パラメータのRakuten AI 3.0のMixture of Expertsアーキテクチャを徹底解説。8エキスパート構成、アクティブパラメータ400億の効率性、日本語MT-Benchで8.88を達成した技術的背景を詳しく紹介します。

NemoClawのNIM推論マイクロサービスとNemotronモデルファミリーの技術詳細を解説。コンテナ化APIエンドポイント、エラスティックスケーリング、Nemotron 3 Super（1200億パラメータ、MoE 120億アクティブ）の性能、AWS・Azure・GCP・オンプレでのデプロイ比較、エッジデバイスでの軽量運用、Salesforce・CrowdStrike等パートナー連携の活用事例を詳述します。