PrismML Bonsai 27B 徹底解説 — Qwen3.6-27Bを実効1.71bit/1.125bitに圧縮、「27BクラスがiPhoneで動く」を実現した超低bit量子化（2026-07-14発表）

Bonsai 27Bとは、PrismMLが2026年7月14日に公開した、Qwen3.6-27Bを再学習なし（post-hoc量子化）で三値（Ternary）または二値（1-bit）の重みに圧縮したオープンウェイトのマルチモーダルLLMである。Ternary版は実効1.71bit・5.9GBでFP16の94.6%、1-bit版は実効1.125bit・3.9GBで89.5%の性能を保持し、「27Bクラスの主要モデルとして初めてスマートフォン（iPhone）で実用的に動く」と主張している。ライセンスはApache 2.0で、重みはHugging Faceで公開済み。llama.cpp（CUDA/Metal）とMLXにネイティブ対応する。

PrismMLはCaltech（カリフォルニア工科大学）の研究者を中心に設立されたスタートアップで、Khosla Ventures、Cerberus、Google、Samsungなどから出資を受けている。掲げるテーマは「推論能力を犠牲にしないニューラルネットワークの圧縮」。同社はこれを *Concentrating intelligence*（知能の濃縮）と表現しており、Bonsaiファミリーはその旗艦シリーズにあたる。今回の27Bは、盆栽（Bonsai）の名の通り「大きな木を小さな鉢に収める」ことを狙ったモデルだ。

オンデバイスAIの主流はこれまで、3B〜9Bクラスの「最初から小さいモデル」だった。Bonsai 27Bのアプローチは逆で、27Bクラスの能力（多段推論・構造化ツールコール・視覚理解・computer-use）をそのまま持ち込み、重みの表現だけを極限まで削る。ベースのQwen3.6-27Bはハイブリッドアテンション構成（約75%が線形アテンション）で262Kトークンのコンテキストを持つマルチモーダルモデルであり、Bonsaiはその能力プロファイルを低bit化した形になる。重要なのは、BitNet系のように1bit前提でゼロから事前学習し直すのではなく、学習済みモデルへの後処理として量子化している点だ。

Bonsaiの量子化は、重み128個のグループごとにFP16の共有スケール s_g を持たせ、各重みを w_i = s_g × t_i（tは三値なら{−1, 0, +1}、二値なら{−1, +1}）で表現する方式だ。スケール分のオーバーヘッドを含めた実効ビット数は、Ternaryが1.71bit/重み、1-bitが1.125bit/重み。FP16比の圧縮率はそれぞれ約9.4倍・約14.2倍になる。特徴的なのは「高精度の逃げ道（higher-precision escape hatches）を作らない」と明言している点で、言語部分（約24.8B）は全コンポーネントをend-to-endで低bit化している。なお視覚タワー（0.46B）は4bit、埋め込み・LMヘッド（2.5B）は別扱いだ。

公開されたのは思考（thinking）モードでの15ベンチマーク平均と、カテゴリ別の内訳だ。全体像として、数学とコーディングは驚くほど残り、ツールコールや指示追従などのエージェント系タスクは相対的に落ちるという非対称な劣化パターンを示している。

この内訳は実務上の示唆が大きい。数学・コードのように「正解が一意で推論の型が強い」タスクは低bit化に耐えるが、ツールコールのように出力形式の厳密さが要求されるタスクは1-bitで2割近く落ちる。1-bit版をエージェント用途に使うなら、スキーマ検証やリトライを外側で補う設計が前提になるだろう。

「2bit量子化なら前からあった」という指摘は正しい。だがPrismMLが比較として示したデータは、従来手法の弱点を突いている。llama.cpp系のIQ2_XXS（実効2.8bit・9.4GB）は平均72.7まで低下し、特にAIME26（57.5）やLiveCodeBench（56.4）など難度の高い推論系で選択的に崩壊する。つまり平均点よりも「一番残ってほしい推論能力から先に壊れる」のが従来の超低bit量子化だった。Bonsaiはより少ないビット数（1.71bit）でこの崩壊パターンを回避し、数学93.4を保っている。また、BitNet系の1bitモデルは原理上ゼロからの事前学習が必要で既存モデルの資産を使えないのに対し、Bonsaiはpost-hocなので今後のQwenアップデートにも追従しやすい。PrismMLはこの効率を「知能密度0.53/GB＝FP16基準の10倍、既存の最良低bit手法の約2.7倍」と表現している。

対応プラットフォームはApple系（Mac・iPhone・iPad、MLX/Metal）とNVIDIA GPU（CUDA、専用低bitカーネル）で、iOSはLocally AIアプリ、ブラウザではWebGPUデモが用意されている。公式発表値ではRTX 5090で163 tok/s（1-bit）/134 tok/s（Ternary）、M5 Maxで87/58 tok/s。一方、技術記事のllama.cppベンチ（tg128）ではM5 Max（1-bit）66.4 tok/s、iPhone 17 Pro Max（1-bit）11.0 tok/s、H100 104.8 tok/sと、測定条件によって数字は変わる。投機的デコード（DSpark、k=4）でH100では1.37倍の143.8 tok/sまで伸びる。iPhoneで重要なのはむしろメモリで、KVキャッシュとアクティベーションを含めて約6GBの利用可能メモリに3.9GBのモデルが収まることが「動く」の根拠になっている。

- オフラインAIアシスタント: 電波のない現場・機内・海外でも27Bクラスの推論が手元で動く
- プライバシー重視のローカル処理: 機密文書・個人情報を端末外に出さずに要約・分析（ローカルAIのセキュリティ設計と同じ発想）
- 常駐エージェント: 画面・書類・カメラ入力を視覚タワーで理解し、多段のcomputer-useループを端末内で回す
- ハイブリッド構成: 日常処理は端末内のBonsai、重い処理だけクラウドAPIに逃がす段階設計

中小企業の実務目線では「社外に出せないデータを扱うAI」の選択肢が一段広がったことが大きい。これまでローカルAIの現実解はQwen3.5-9BやGemma 4クラスだったが、Bonsai 27BはノートPC1台（5.9GB）で27Bクラスの推論を提供する。GPUサーバーへの投資なしで、契約書レビューや議事録処理のような機密タスクをローカル完結させる構成が組みやすくなった。

- 発表直後・自社計測: ベンチマークはPrismML自身の15種スイートで、第三者検証はこれから
- 劣化はタスク依存: 平均94.6%/89.5%という数字だけで判断せず、自社ユースケース（特にツールコール・視覚）での実測が必須
- 1-bit版のエージェント利用は要設計: ツールコール66.0はFP16比8割未満。スキーマ検証・リトライを外側で補う前提
- スマホでの持続利用は未知数: 発熱・バッテリー・他アプリとのメモリ競合下での長時間動作は今後の検証待ち
- 262Kコンテキストはメモリ次第: モデル本体が小さくてもKVキャッシュは別途必要で、端末では長文脈をフルに使えない
- ベースはQwen: Apache 2.0だが、モデル特性（多言語性能・知識カットオフ等）はQwen3.6-27Bに準じる

Bonsai 27Bが示したのは、超低bit量子化が「性能を我慢して小さくする技術」から「同じ知能をどこに配置するかを選ぶ技術」に変わりつつあることだ。数学93.4を保ったまま5.9GBに収まるなら、多くのワークロードでGPUサーバーは必須ではなくなる。残る課題はエージェント系タスクの劣化と第三者検証だが、post-hoc方式ゆえにベースモデルの進化へ追従しやすい点も含め、オンデバイスAIの水準線を一段引き上げたリリースと言える。