Qwen3.8-Flash-Next 必要スペック早見表

Qwen3.8-Flash-Nextをローカルで動かす場合、必要な推論メモリの目安は1-bit量子化で約75GB、4-bit量子化で約111GB、量子化なしのBF16フル精度では約354GBになる。アリババQwenチームが2026年8月26日に公開した、総パラメータ125B・アクティブ約6B/トークンのオープンウェイトMoE（Qwen4アーキテクチャのプレビュー）で、ネイティブ262,144トークン・YaRNで最大1,048,576トークンまでのコンテキストとマルチモーダル入力に対応する。最大の注目点は、MoEのエキスパートをCPU側にオフロードする手法（llama.cpp系の実装）を使えば、単一の24GB級コンシューマGPU（RTX 4090）でも実際に動作した報告がある点だ。一方でアリババ公式のvLLM/SGLangによる本番サービング（FP8）はGPU集計で約250GB規模を要求し、H100 1枚はおろかH200 1枚でも公式には未対応という、ローカル量子化運用と公式本番構成のギャップが大きいモデルでもある。

Qwen3.8-Flash-Nextは総パラメータ125B・アクティブ約6B/トークンのスパースMoEを中核に、48層でGated DeltaNetとQwen Sparse Attentionを組み合わせたハイブリッド構成を採る（512エキスパートのうち10ルーティング＋1共有が常時アクティブ）。加えて51Bパラメータ規模のn-gram埋め込みテーブルと4BパラメータのMTP（Multi-Token Prediction）ヘッドを備え、これらを含めたチェックポイント全体は約180B相当・BF16で約354GBになる（Hugging Faceの実配布サイズと整合）。アリババは本モデルを「次世代Qwen4アーキテクチャの実験的プレビュー」と位置づけており、Qwen3.8-Maxのような2.4T級フラッグシップとは別系統の、効率重視ラインという扱いだ。ネイティブマルチモーダル（画像入力対応）で、ライセンスはApache-2.0ではなくQwen Community License 1.0（商用利用は無料だが、月間アクティブユーザー1億人または月間売上2,000万ドルを超える製品はモデル名の明示義務あり、MaaS/AIワークアシスタント事業には別ライセンスが必要）。Apache-2.0のQwen3.8-27Bとはライセンス条件が異なる点に注意したい。

MoE（Mixture of Experts）はトークンごとに一部のエキスパートだけを計算に使うため「アクティブ約6B」という軽さが強調されがちだが、モデル全体をGPU上に常駐させて推論する構成では、どのエキスパートが選ばれるかはトークンごとに変わるため、結局全エキスパート（総パラメータ125B相当＋n-gramテーブル等）をメモリ上に置いておく必要がある。これがBF16で約354GB、4-bit量子化でも約111GBという数字の根拠だ。ただし例外がある。llama.cppや類似実装が対応する「MoEエキスパートオフロード」は、頻繁に使われないエキスパート重みをシステムRAM側に置き、トークンごとに必要なものだけをGPUへ転送する方式で、これによりVRAM使用量を大幅に圧縮できる。実際にX（旧Twitter）上では、RTX 4090（24GB VRAM）1枚でQwen3.8-Flash-Nextを25万トークンのコンテキストで動作させ、デコード21 t/s・プレフィル364 t/sを記録した報告がある（MTP・dフラッシュ・KVキャッシュ量子化は不使用）。VRAMだけでなくシステムRAMも含めた「実効メモリ合計」で考える必要がある点が、このモデルを理解する鍵になる。

Apple SiliconのUnified Memoryアーキテクチャは、VRAMとシステムRAMの区別がなく丸ごと推論に使えるため、MoEオフロードを意識せずに量子化モデルをそのまま載せられる点でこのモデルと相性が良い。Unsloth公式ドキュメントは「最小構成の1-bit量子化（約74.5GB）でも実用には最低96GB以上のRAM/Unified Memoryを推奨」としている。目安としては、M3/M4 Max搭載のMacBook Pro（128GB上限）は1〜3-bit量子化なら動作圏内、4-bit（約111GB）を安定運用したい場合はMac Studio 128GB〜192GB（M3 Ultra/M4 Ultra相当）が現実的なラインになる。MLXフォーマットでの配布も参照されており、Metal対応のllama.cppビルドでも動作する。ただしn-gramテーブルやMTPヘッドを含む量子化ファイルの実サイズは公称の「4-bitなら63GB」的な単純計算より大きくなる点は覚えておきたい。

ネイティブ262,144トークンに加え、YaRNによるRoPEスケーリングで最大1,048,576トークンまで拡張できる。自前ホスティング（vLLM/SGLang/TokenSpeed）でこの拡張を使うには、config.jsonのrope_parametersを編集するか各エンジンのYaRN関連フラグを明示的に指定する必要があり、既定では有効にならない（QwenCloudのホスト版APIは既定で1Mコンテキストが有効）。コンテキストが伸びるほどKVキャッシュ用メモリが線形に増加するため、262Kフル活用時と1M活用時とでは必要メモリが数十GB単位で変わり得る。長文脈を常用する場合は、量子化早見表の数値に加えて余裕を持ったメモリ計算をしたい。アリババはこのモデルの1Mトークン時プレフィルスループットが、前世代Qwen3.7-Plus比で最大8.6倍になると報告している（ベンダー公表値）。

エージェント系タスク（SWE-bench Pro、CoWorkBench、JobBench）ではQwen3.8-Flash-NextがClaude Opus 4.6 Maxを上回る一方、汎用知識・推論を測るHumanity's Last Examでは逆転してOpus側が高い。いずれもベンダー公表のベンチマーク値であり、実タスクでの体感差は評価セット・プロンプト設計・ツール構成に左右される点に留意したい。

- 量子化ローカル実行（llama.cpp／Unsloth Desktop）: unsloth/Qwen3.8-Flash-Next-GGUF からUD-Q4_K_XL等の量子化ファイルを取得し、Metal対応でビルドしたllama.cppまたはUnsloth Desktopアプリで起動。MoEオフロード関連のフラグでVRAM/RAM配分を調整する
- Apple Silicon／MLX: MLX対応ビルドを利用し、Unified Memory一括利用で量子化モデルをロードする（96GB以上のMacを推奨）
- 本番サービング（vLLM／SGLang）: Qwen/Qwen3.8-Flash-Next-FP8 をvLLMまたはSGLangで起動。公式レシピは複数GPU（TP2以上）を前提とするため、単体GPUでの起動は非対応と理解して構成を組む
- API利用（最短）: QwenCloudのAPIキーを取得し、Qwen3.8-Flash（本番API版）をエンドポイント経由で呼び出す。デフォルトで1Mコンテキストが有効

- VRAM不足でロードが落ちる: 量子化ビット数を下げる（4-bit→3-bit→2-bit）か、MoEオフロード機能でエキスパート重みの一部をシステムRAMへ逃がす設定を有効にする
- 速度が極端に遅い: CPUオフロード比率が高すぎる可能性。可能な範囲でVRAM側に載せるレイヤー/エキスパート数を増やし、GPU⇄CPU間の転送頻度を下げる
- 長文脈でOOM（メモリ不足）になる: KVキャッシュがボトルネック。1Mコンテキストではなく262Kネイティブ長に絞る、またはKVキャッシュ量子化を有効にする（対応エンジンの場合）
- 公式vLLM/SGLangでシングルGPU起動を試みてエラーになる: 公式レシピはマルチGPU前提。単一GPUで動かしたい場合はGGUF量子化＋llama.cpp系の経路に切り替える
- Macで「メモリ不足でスワップ多発」になる: 量子化ビット数を下げるか、常駐アプリを終了してUnified Memoryの空き容量を確保する