「Local LLM」のコラム

PrismMLが2026年7月14日に公開したBonsai 27Bを徹底解説。Qwen3.6-27Bを再学習なしでTernary（実効1.71bit・5.9GB・FP16比94.6%）と1-bit（1.125bit・3.9GB・89.5%）に圧縮し、iPhone 17 Proでの動作を実現。量子化の仕組み・ベンチマーク・既存低bit手法との違い・オンデバイスAIへの影響を図解付きで整理します。

**Qwen3.6-35B-A3B-Uncensored / Abliterated** は、Alibaba の Qwen 3.6-35B-A3B（MoE、35B 総パラメータ / 3B アクティブ、262K context、hybrid attention）をベースに、**コミュニティ有志が『拒否挙動（refusal）を除去』した派生モデル群**（[HackerNoon 解説](https://hackernoon.com/qwen36-35b-a3b-uncensored-a-35b-moe-model-with-262k-context) / [HauhauCS Aggressive](https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive) / [huihui-ai abliterated](https://huggingface.co/huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated) / [wangzhang abliterated](https://huggingface.co/wangzhang/Qwen3.6-35B-A3B-abliterated) / [prithivMLmods Aggressive](https://huggingface.co/prithivMLmods/Qwen3.6-35B-A3B-Uncensored-Aggressive)）。 **ベースモデルの仕様**: **35B 総パラメータ / 3B アクティブ**（MoE、sparse expert 構造）、**40 層**、**hybrid attention**（linear + full softmax の **3:1 比率**）、**262K トークン native context**、**text / image / video** ネイティブマルチモーダル入力。Alibaba のオープンウェイト戦略の中核モデル。 **Abliteration 技術**: **『拒否方向』を LoRA ベースの steering** で attention / MLP projection から除去。追加で **Expert-Granular Abliteration (EGA)**（各層の expert down_proj スライス単位で abliteration）、**MoE router suppression**（safety expert を router 段階で無効化）という MoE 特化技法を組み合わせている。HauhauCS の内部テストでは **465 プロンプトのテストで 0 refusal** と報告。ベース Qwen 3.6-35B の能力は 100% 維持しつつ、refusal のみ除去する設計思想。 **複数バリアント**: - **HauhauCS-Aggressive**（[HF](https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive) / [Ollama](https://ollama.com/fredrezones55/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive)）: 最も aggressive な refusal 除去 - **huihui-ai Huihui-Qwen3.6-abliterated**（[HF](https://huggingface.co/huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated) / [Ollama](https://ollama.com/huihui_ai/Qwen3.6-abliterated)）: 実績ある huihui-ai チームの手法 - **wangzhang abliterated**（[HF](https://huggingface.co/wangzhang/Qwen3.6-35B-A3B-abliterated)） - **prithivMLmods Uncensored-Aggressive**（[HF](https://huggingface.co/prithivMLmods/Qwen3.6-35B-A3B-Uncensored-Aggressive)） 各バリアントは **量子化オプション**（GGUF Q4 / Q5 / Q8 / FP16 等）を用意しており、コンシューマ GPU（RTX 5090 32GB）から H100 まで幅広いハードウェアで実行可能。 **倫理・法的論点**: Abliterated モデルは **本来 Qwen が拒否すべき有害コンテンツ（違法薬物・攻撃コード・危険物合成等）を生成し得る**。研究目的・脱獄耐性検証・ロールプレイ・成人向けコンテンツ生成等の合法用途は存在するが、**業務利用・エンタープライズ導入では強い法的リスク**。EU AI Act（2026-08 施行）や日本の PPC ガイドラインへの適合も懸念。**責任は完全に利用者側**、Alibaba / Qwen チームは関与せず。 **位置付け**: [ローカル LLM 2026年6月最新版](../columns/local-llm-landscape-2026-june-update)・[Kimi K2.7-Code](../columns/kimi-k2-7-code-moonshot-ai-2026-06)・[Ornith-1.0](../columns/ornith-1-0-deepreinforce-agentic-coding-2026-06) と並ぶオープンウェイト LLM 領域の側面として、**『安全策を後から剥がす技術』が MoE 時代にも成立** している現実を示す事例。

2026年4月に公開した[ローカル LLM 徹底比較コラム](../columns/local-llm-landscape-2026-april-comprehensive-comparison)から2ヶ月、**何が変わったか** を一次ソース中心に整理した最新版です。 **3つの大変化**: **(1) OSS 性能がクローズドと肉薄** — [GLM-5.2](https://simonwillison.net/2026/Jun/17/glm-52/)（Z.ai、MIT、2026-06-16）が Intelligence Index v4.1 で **51 点**（MiniMax M3 44 / DeepSeek V4 Pro 44 / Kimi K2.6 43 を抜いて OSS 首位）。[MiniMax M3](https://kilo.ai/open-source-models) が **1M context・ネイティブマルチモーダル・SWE-Bench Pro 59.0%・Terminal-Bench 2.1 66.0%・MCP Atlas 74.2%**。[NVIDIA Nemotron 3 Ultra](https://research.nvidia.com/labs/nemotron/Nemotron-3/)（Computex 2026 で Jensen Huang 発表、**550B パラメータ**、米国 OSS 首位）。[VibeThinker-3B](https://arxiv.org/pdf/2606.16140)（WeiboAI、MIT、Qwen2.5-Coder-3B fine-tune、**3B で frontier reasoner 並み**）。 **(2) Blackwell でコンシューマ GPU が 30-70B 実用域** — RTX 5090 は **32GB GDDR7・1,792 GB/s 帯域**（4090 比 +77%）・**ネイティブ MXFP4 で GGUF Q4 を emulation 0** で実行可。Qwen 2.5-Coder-7B で **5,841 tok/s**（batch 8、A100 80GB の 2.6 倍）。RTX PRO 6000 Blackwell は 30B モデルで **~8,425 tok/s**、B200 は **192GB HBM3e・8 TB/s・H100 比 4-5 倍**。 **(3) 日本企業の SI 化が本格化** — **インテック**（TIS グループ）が2026-01-29 から **ローカル LLM 導入支援 SI、最短1ヶ月・参考価格 ¥5,000,000〜**。**リコー**「**RICOH オンプレ LLM スターターキット**」が **2025年日経優秀製品・サービス賞最優秀賞** 受賞（Qwen2.5-VL-32B-Instruct ベース）。PFN [PLaMo 3.0 Prime](../columns/plamo-3-0-prime-pfn-japanese-llm-2026-06) が **デジタル庁『源内』採用**。Mizuho / Lion の Qwen 国内ファインチューン precedent と並ぶ。 さらに [Kimi K2.7-Code](../columns/kimi-k2-7-code-moonshot-ai-2026-06)・[Sakana Fugu](../columns/sakana-fugu-orchestration-model-2026-06)・[DiffusionGemma](../columns/diffusiongemma-google-text-diffusion-2026-06)・[Liquid AI LFM2.5-J](../columns/liquid-ai-lfm25-japanese-models-2026-06) など同時期の動きも整理。 推論エンジン選定（**AWQ + vLLM = GPU 最速、GGUF + llama.cpp = CPU/エッジ、SGLang = エージェント、TensorRT-LLM = NVIDIA クラスタ**）、量子化（BitNet 1.58-bit / MXFP4 / AWQ）、規制動向（**EU AI Act 2026-08-02 施行・systemic risk threshold 10^25 FLOPs**、米輸出規制 [Fable 5 precedent](../columns/claude-fable-5-export-control-suspension-2026-06)、中国系のデータ越境）、典型 GPU 構成、オブライト視点の3ステップ導入論まで。 記事末尾に **ローカル LLM 導入・構築・保守の3つの問い合わせ導線** を設置しています。

Google DeepMind が2026年6月10日に NVIDIA との同時アナウンスで公開した **DiffusionGemma**（`google/diffusiongemma-26B-A4B-it`、25.2B 総 / 3.8B アクティブ MoE）を、[Google 公式ブログ](https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/)・[ai.google.dev モデルカード](https://ai.google.dev/gemma/docs/diffusiongemma/model_card)・[Hugging Face](https://huggingface.co/google/diffusiongemma-26B-A4B-it)・[NVIDIA 公式](https://blogs.nvidia.com/blog/rtx-ai-garage-local-gemma-diffusion/) を一次ソースに整理。**自己回帰（AR）モデルが左から右へ1トークンずつ生成するのに対し、Diffusion 言語モデル（DLM）はマスク／ノイズに満たされた256トークンキャンバスを並列に脱ノイズして文章へ変換する**。1 forward あたり15-20トークン確定、最大48 denoising steps、H100 で 1,000+ tok/sec、RTX 5090 で 700+ tok/sec、AR 版 Gemma 4 比 約 3.5-4 倍。一方で **MMLU Pro 77.6 vs 82.6、GPQA 73.2 vs 82.3、MMMU Pro 54.3 vs 73.8** と公式は AR 版に対する **品質劣後を率直に明言**。Apache 2.0、Hugging Face / Vertex AI / NVIDIA NIM 提供、業界初のオープン重み大規模拡散 LLM。日本企業のオンプレ社内エージェント・コード補完・低レイテンシ業務での意義と、Mercury（Inception Labs）/ LLaDA / Gemini Diffusion との位置づけまで整理しています。

Google DeepMind が2026年6月3日に公開した Gemma 4 12B を、[公式ブログ](https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12b/) と [Developer Guide](https://developers.googleblog.com/gemma-4-12b-the-developer-guide/) をベースに徹底解説。本モデル最大の特徴は **encoder-free multimodal アーキテクチャ** — Vision Encoder（旧モデルで約5.5億パラメータ）を **35M パラメータの軽量 embedder + 行列乗算1回** に置換し、Audio Encoder（12層 Conformer）は完全削除して raw 音声を直接 LLM の埋め込み空間に投影する設計。16GB VRAM のノート PC（Copilot+ PC / Apple Silicon Mac）で動作、Apache 2.0 ライセンス、Hugging Face / Ollama / LM Studio / MLX / Vertex AI で即利用可能。本コラムは技術的背景、26B MoE に迫るベンチマーク主張、Gemma 4 ファミリー（E2B/E4B/26B/31B）の中での位置づけ、Llama 4 / Qwen 3.5 / Phi-5 との競合関係、日本企業のオンプレ AI / 音声業務 / データ主権要件への適合性までを公式情報ベースで整理しました。