Inkling 2 Mini 必要スペック
26.4B・活性3.4Bで公式約20GB、32GBのMac・VRAMで動く【2026年版】
Inkling 2 Miniは総26.4B・活性3.4BのMoEで公式約20GB。推奨は32GB以上のメモリ/VRAM、GGUFは最小18GB。Apache 2.0。量子化別メモリ、Mac・NVIDIA・CPU、LM Studio・Ollamaの手順、Qwen3.8-27B比較(2026年11月)。
Inkling 2 Mini(thinkingmachines/Inkling-2-Mini)は、総パラメータ26.4B・1トークンあたり3.4B活性のMoEモデルで、公式チェックポイントは約20GB。動かすには32GB以上のユニファイドメモリ(Apple Silicon)または32GB以上のVRAMがベンダー推奨である。 量子化版(GGUF)なら最小で18GBのシステムメモリから動く。Thinking Machines Lab が2026年11月20日に公開したオープンウェイトで、ライセンスは Apache 2.0(同社の Model Acceptable Use Policy 付き)。最大の特徴は「ループ構造」で、中間の12層を3回繰り返して使うため、保存する重みは26.4B分でも、1トークンの計算は約5.4B相当の重みを通る。メモリは総パラメータ数で決まり、計算量はループ込みの活性パラメータで決まる。本記事は、必要スペックの早見表、ループ構造の意味、Mac・NVIDIA GPU・CPU での動かし方、LM Studio・llama.cpp・Ollama・vLLM などの使い方、Inkling 2 Small や同サイズ帯モデルとの違いを整理する。
情報は2026年11月21日時点の一次情報(Thinking Machines Lab の発表ページ、Hugging Face のモデルカードと config.json、LM Studio のモデルページ、unsloth の GGUF ページ)による。公式が示した値には「公式」、パラメータ数から本稿で計算した値には「推定」と付けた。ベンチマークはすべてベンダー(Thinking Machines Lab)の公表値で、第三者の再現ではない。
必要スペック早見表
| 配布形態 | 重みのサイズ | 8Kコンテキスト込み(目安) | 32Kコンテキスト込み(目安) | 動かせる環境の目安 |
|---|---|---|---|---|
| BF16(理論値、26.4B × 2バイト・推定) | 約52.8GB | 約54GB | 約55GB | 64GB以上のメモリ・VRAM |
| 公式チェックポイント(NVFP4+MXFP8混在・公式) | 約19.5GB(公式は約20GB) | 約21GB | 約22GB | 32GBのMac・32GB VRAMのGPU・DGX Spark |
| GGUF UD-Q8_K_XL(unsloth) | 22.87GB | 約24GB | 約25GB | 32GBのMac・32GB VRAM |
| GGUF UD-Q4_K_XL(unsloth) | 17.63GB | 約19GB | 約20GB | 24GB VRAM・32GBのMac |
| GGUF UD-Q4_K_M(unsloth) | 16.61GB | 約18GB | 約19GB | 24GB VRAM・32GBのMac(LM Studio の最小値は18GB) |
| GGUF UD-Q2_K_XL(unsloth) | 9.14GB | 約11GB | 約11GB | 16GB VRAM・16GBのMac(精度は低下) |
| GGUF UD-IQ1_S(unsloth) | 7.76GB | 約9GB | 約10GB | 12GB VRAM・16GBのMac(精度は大きく低下) |
「重みのサイズ」のうち、公式チェックポイントとGGUFの値は Hugging Face 上の実ファイルの表示、BF16は「パラメータ数 × バイト数」の推定である。コンテキスト込みの欄は、重みにKVキャッシュ(推定、後述の保守的な見積り)と約1GBの作業領域を足した目安で、ランタイムや設定で変わる。BF16版は公式には配布されていない。なお、公式のチェックポイントが「26.4B × 4bit = 13.2GB」にならず約20GBなのは、末尾4層が8bit(MXFP8)であること、視覚エンコーダや埋め込みなどが4bitではないことによるとみられる(この内訳は公式に明記されていない)。
手元のGPU・Macで動くかをすぐ確かめたい場合は、モデル・量子化・コンテキスト長を選ぶだけで必要VRAMを試算できるVRAM計算ツール(無料・登録不要)も用意している。Inkling 2 Mini もモデル一覧から選択できる。
公式の推奨をそのまま読むと、条件は3つに整理できる。NVIDIA DGX Spark 1台、32GB以上のユニファイドメモリを持つ Apple Silicon の Mac(MacBook・Mac mini・Mac Studio)、そして32GB以上のVRAMを持つその他のGPUである。LM Studio のページは、GGUF版の下限として「少なくとも18GBのシステムメモリ」を挙げ、同時に、この下限では1Mトークンの文脈を取る余裕はないと注記している。
Inkling 2 Mini とは — 何が公開されたのか
Thinking Machines Lab は、2026年7月の初代 Inkling、11月5日の Inkling 2 Small に続き、2026年11月20日に Inkling 2 Mini を公開した。発表ページは「ノートパソコンで動かせるほど小さい高速モデル」と位置づけ、同社として初めて公開するループ型トランスフォーマー(looped transformer)だと説明している。モデルカードによれば、入力はテキストと画像、出力はテキストのみ。画像は各辺40〜4096ピクセルの範囲が推奨される。重みは Hugging Face で公開され、Tinker でも推論とカスタマイズに使える。公開は、通常のモデルと、ループ回数を可変にした研究用モデルの2系統である。
| 項目 | 内容(出典) |
|---|---|
| 提供元 | Thinking Machines Lab |
| 公開日 | 2026年11月20日 |
| 総パラメータ数 | 26.4B |
| 活性パラメータ数 | 3.4B(1トークンあたり、1回通過ぶん) |
| 実効の活性パラメータ | 約5.4B(追加1回の通過ごとに約1.0B増え、3回通過で5.4B) |
| コンテキスト長 | 最大100万トークン(モデルカード。config は1,048,576) |
| 入出力 | 入力: テキスト・画像、出力: テキスト |
| ライセンス | Apache 2.0(Model Acceptable Use Policy 付き) |
| 精度 | NVFP4とMXFP8の混在(公式チェックポイント約20GB) |
| 他の公開物 | 可変ループ版(研究用)、MTPヘッド用ファイル(約636MB) |
ループ構造のMoE — 3.4Bなのに5.4B相当になる理由
Inkling 2 Mini の保存層は24層で、6層ずつ4つのブロックに分かれる。このうち2番目と3番目のブロック(中間の12層)が、同じ重みのまま3回繰り返し実行される。最初と最後のブロックは1回ずつなので、1トークンあたり12 + 12 × 3 = 48回の層の適用になる。重みは24層ぶんしか持たないのに、計算は48層ぶんに近い。モデルカードは、この追加の1回ごとに実効の活性パラメータが約1.0B増え、3回で約5.4Bになると説明している。
- 保存する重み: 26.4B(メモリ・ファイルサイズを決める)
- 1回通過の活性: 3.4B(8/128のエキスパートを選ぶMoEで、1回の通過で動く量)
- ループ込みの実効活性: 約5.4B(1トークンの計算量の目安)
- エキスパート: 各層128のうち8を選択(共有エキスパートなし。事前学習では384のうち8を選ぶ構成から、使用頻度の高い128へ途中で削減したと発表ページにある)
- 注意機構: ローカル(窓1024トークン)20層とグローバル4層(config.json)。各ブロックの最後の層がグローバル
発表ページによれば、学習の途中段階で比べると、ループなしのモデルが中間ループ版と同じ損失に達するには1.51〜1.91倍の計算が必要だったという。また、ループなしのモデルは学習計算が7.5%少ない一方、同じ損失に達するための推論計算は140%多かった。いずれもベンダーの実験結果である。実用上の意味は、メモリは小さいまま、1トークンあたりの「考える量」を増やす設計だということだ。一方でモデルカードは、ループのぶん「1トークンの計算量が活性パラメータ数の見かけより大きい」こと、最小の推論強度でも推論を完全には止められないことを制約として挙げている。
もう一点、MoE一般の注意がここにも当てはまる。活性が小さくても、どのエキスパートが選ばれるかは事前に分からないため、重み全体をメモリに置く必要がある。速度は活性側、必要メモリは総パラメータ側で決まると考えるとよい。さらに本モデルは、同じ重みを3回読み直すぶん、メモリ帯域がそのまま速度に効く。発表ページは速度の理論上限を「帯域614GB/s・BF16の重み・バッチサイズ1・ループによる再読み込み込み」で算出したと述べているが、実測のトークン毎秒は示していない。
KVキャッシュの見積り — ループのぶん増える可能性
config.json によれば、KV ヘッドは8、head dim は128で、BF16なら1トークン・1層あたり 2 × 8 × 128 × 2バイト = 4,096バイトである。24層のうち20層は窓1024のローカル注意、4層がグローバル注意なので、文脈全長ぶんのKVを持つのはグローバルの4層だけで済む。以下は本稿の推定で、公式値ではない。ループの各回が別々のKVを保持する実装かどうかは一次情報で確認できなかったため、2通りを示す。
| コンテキスト長 | KV(ループ各回で共有・最小見積り) | KV(各回が別々に保持・保守的見積り) |
|---|---|---|
| 8,192 | 約0.22GB | 約0.44GB |
| 32,768 | 約0.62GB | 約1.24GB |
| 131,072 | 約2.2GB | 約4.5GB |
| 1,048,576(1M) | 約17.3GB | 約34.5GB |
計算式は、最小見積りが「グローバル4層 × 4,096バイト × トークン数 + ローカル20層 × 4,096バイト × 1,024」、保守的見積りは中間ブロックの層が3回ぶん別々にKVを持つとして、グローバル8回・ローカル40回の適用で数えたものである。早見表の「コンテキスト込み」は保守的な値を使った。1Mトークンをフルに使うと、公式の20GBに加えてKVだけで17〜35GBが必要になる推定で、32GBの機械では現実的でない。実用上は、32K〜128K程度に収めるのが目安になる。
Apple Silicon(Mac)での動作
公式の推奨は、32GB以上のユニファイドメモリを持つ Apple Silicon の Mac である。発表ページのデモは M5 Pro・48GB の MacBook Pro で、オフラインで動かしたものだ。同ページは、Ollama で動かす最小要件を「32GB以上のRAMを持つ Mac」としている。モデルカードは、Apple Silicon 向けのランタイムとして Ollama と Exo Labs を挙げる。
- 16GBのMac: GGUF の最小版(UD-IQ1_S 7.76GB、UD-Q2_K_XL 9.14GB)なら重みは載る(推定)。ただし精度の低下が大きく、公式の推奨範囲外
- 24GBのMac: UD-Q4_K_M(16.61GB)が重みとしては載るが、macOS が使う分と文脈のKVを足すと余裕が小さい(推定)
- 32GB以上のMac: 公式推奨の下限。公式チェックポイント相当(約20GB)か UD-Q4_K_XL(17.63GB)で、32K前後の文脈なら収まる計算
- 48GB以上のMac: 長めの文脈(128K前後)や UD-Q8_K_XL(22.87GB)まで余裕を持てる(推定)
Mac では、ユニファイドメモリのうちGPUが使える割合に上限があり、メモリの全量は使えない点にも注意したい。表の「Macの目安」は、上限を差し引いても載るかどうかの余裕を見た概算で、実機での検証は行っていない。LM Studio の Mac 版は、GGUF 17.50GB を最小18GBのシステムメモリで動かせるとしている。
NVIDIA GPU での動作
公式の推奨は、DGX Spark 1台、または32GB以上のVRAMである。発表ページは DGX Spark がネイティブでNVFP4に対応すると述べ、Stanford による Intelligence per Watt の比較でも、DGX Spark(128GB)上の Inkling 2 Mini(MXFP8・低い推論強度)が0.703と、Qwen3.6-35B-A3B の0.430、Gemma-4-26B-A4B の0.159を上回ったと公表している(ベンダー経由の値)。
- 32GB VRAM以上: 公式チェックポイントを重み約20GBで置け、KVを含めて32K前後まで収まる計算。vLLM・SGLang で公式推奨の構成
- 24GB VRAM(RTX 3090・4090クラス): GGUF の UD-Q4_K_M(16.61GB)か UD-Q4_K_XL(17.63GB)が重みとして載る。文脈は短めに抑えたい(推定)
- 16GB VRAM: UD-IQ3_XXS(11.66GB)や UD-Q3_K_XL(13.63GB)が重みとして載る。精度とのトレードオフ(推定)
- 12GB以下: UD-Q2_K_XL(9.14GB)以下。実用性は用途次第で、公式の推奨範囲外
MoEのため、VRAMに載りきらない場合は、llama.cpp などでエキスパートの一部をCPUメモリに置く運用もある。ただしループ構造は新しく、モデルカードも「ローカルランタイムのループ対応は新しく、速度はランタイムとハードウェアで変わる」と明記している。実際の速度は、導入前に自分の環境で確かめる必要がある。
CPU のみでの実行
GPUがない環境でも、GGUF 版なら18GB以上のシステムメモリがあれば起動できる、というのが LM Studio のページの下限である。活性が小さく、1トークンあたりの計算量が抑えられるMoEなので、同じ重さの密モデルよりは扱いやすいと考えられるが、ループで同じ重みを3回読むため、メモリ帯域がボトルネックになりやすい。CPUでの実測のトークン毎秒は、公式にも、確認できた範囲の第三者情報にも見当たらない。対話用途の速度を期待する場合は、DDR5の広い帯域を持つ構成かGPUの併用を前提に、まず短い文脈で試すのが無難だ。
使い方 — LM Studio・llama.cpp・Ollama・vLLM・transformers
モデルカードは、推論フレームワークとして Hugging Face Transformers・SGLang・vLLM・TokenSpeed・NVIDIA Dynamo・Unsloth・llama.cpp・Llama App・Ollama・Exo Labs を挙げる。以下は、モデルカードと unsloth の GGUF ページに記載のあるコマンドで、実機では未検証。まず最も手軽な経路は LM Studio で、モデルページ(lmstudio.ai/models/inkling-2-mini)から GGUF 版(17.50GB)をダウンロードして使う。ページには専用のコマンドは載っておらず、「Get」ボタンから入手する形になっている。
llama.cpp(GGUF)。 unsloth のページにある手順。UD-Q4_K_M を例にしており、他の量子化は末尾を差し替える。
curl -LsSf https://llama.app/install.sh | sh
llama serve -hf unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_M
llama cli -hf unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_MOllama。 同じく unsloth のページにある手順。
ollama run hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_MvLLM・SGLang(NVFP4の公式チェックポイント)。 モデルカードの手順で、どちらも OpenAI 互換のAPIを立てる(vLLM は http://localhost:8000/v1/chat/completions、SGLang は http://localhost:30000/v1/chat/completions)。
# vLLM
pip install vllm
vllm serve "thinkingmachines/Inkling-2-Mini"
# SGLang
pip install sglang
python3 -m sglang.launch_server --model-path "thinkingmachines/Inkling-2-Mini" --host 0.0.0.0 --port 30000
# Docker Model Runner
docker model run hf.co/thinkingmachines/Inkling-2-MiniTransformers。 モデルカードのスニペットは、画像入力に対応する pipeline を使う形である(このページには AutoModelForSeq2SeqLM を使った読み込み例も載っているが、クラス名はページの表示のまま。通常の対話用途では pipeline を使うのが無難)。
# pip install -U transformers accelerate
from transformers import pipeline
pipe = pipeline("image-text-to-text", model="thinkingmachines/Inkling-2-Mini")推論の強さ(effort)は調整できるが、最小にしても推論は完全には止まらない。モデルカードは、長い推論の繰り返しに陥ることがあるとして、出力トークン数とエージェントのターン数に上限を設けることを勧めている。なお Tinker のプレイグラウンド(tinker.thinkingmachines.ai/playground)では、重みを入手せずに推論を試せる。
Inkling 2 Small・初代 Inkling・同サイズ帯モデルとの比較
| 項目 | Inkling 2 Mini | Inkling 2 Small | Inkling(初代) |
|---|---|---|---|
| 総パラメータ数 | 26.4B | 594B | 975B |
| 活性パラメータ数 | 3.4B(実効約5.4B) | 17B | 約41B |
| 構造 | ループ型MoE | MoE | MoE |
| コンテキスト長 | 最大1M | (発表ページは単一の最大値を示さない) | 最大1M |
| 入力 | テキスト・画像 | テキスト・画像 | テキスト・画像・音声 |
| 公式の配布サイズ | 約20GB | NVFP4で約393.5GB | (別記事を参照) |
| 必要メモリの目安(公式) | 32GB以上 | 500GB以上(NVFP4) | 別記事を参照 |
| ライセンス | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Inkling 2 Small の詳細はInkling 2 Small の解説記事、初代 Inkling の必要メモリはInkling の必要スペック解説にまとめてある。Mini は Small より知識(事実の想起)で劣り、自信のある誤りも出やすいとモデルカードは述べる。一方で長時間のエージェント作業は Small と同じ傾向を持ち、PMPP-Hard では Small に迫る値だと発表ページは言う。つまり、データセンター級のGPUがなくても、同じ系統の考え方を手元で試せる位置づけだ。
同サイズ帯との比較として、発表ページは Gemma 4 31B・Muse Glimmer・Qwen3.8-27B・Nemotron 3.5 Super VL を比較表に並べている。以下は、そのうち Qwen3.8-27B との差が分かる項目の公表値(ベンダー自社公表)である。
| ベンチマーク | Inkling 2 Mini | Qwen3.8-27B |
|---|---|---|
| SWE-bench Verified | 79.2% | 77.8% |
| DeepSWE v1.1 | 48.2% | 42.2% |
| SWE-bench Pro v2(Hard) | 77.9% | 73.8% |
| Terminal Bench v2.1 | 71.6% | 73.0% |
| BrowseComp(compaction あり) | 79.0% | 61.6% |
| MCP Atlas(公開) | 82.7% | 77.3% |
| OmniDocBench v1.6 | 92.8% | 91.5% |
| MMMU Pro(Standard 10) | 74.9% | 76.3% |
| LongBench v2 | 66.9% | 52.3% |
| HLE-Diamond | 15.2% | 15.3% |
読み方の注意がある。第一に、これは自社公表の値で、評価の設定(ハーネスのバージョンや推論強度)が結果に効く。第二に、比較表で Qwen3.8-27B が上回る項目も多い(Terminal Bench v2.1、AA-Briefcase、GDPVal-AA、MMMU Pro など)。第三に、モデルカードは、複数ターンの対話や多数の制約を含む指示は強みではないと認めている(MultiChallenge 50.0%、ComplexConstraints v1.1 33.4%)。コーディング・検索・ツール利用のエージェント用途で強く、対話や知識の想起では他を検討する余地がある、と読むのが妥当だ。なお、Gemma 4 31B などの他モデルとのメモリ要件の比較は、本稿では一次情報の同条件比較がないため数値を載せない。
ライセンスと商用利用の注意
ライセンスは Apache 2.0 で、商用利用・改変・再配布が認められる。ただしモデルカードは、Thinking Machines の Model Acceptable Use Policy も併せて適用されると明記している。再配布や組み込みでは、ライセンス文と著作権表示の同梱を忘れないこと。また、モデルカードは、誤情報の出力、細かい指示の取りこぼし、英語以外での品質低下(中国語のテストで、言い回しが切れる・言語が混ざるといった例が挙がる)などを制約として挙げる。日本語の公式ベンチマークは確認できなかったので、日本語で使う場合は自社データで品質を確かめてから採用したい。
エージェント用途の注意点は特に重要である。モデルカードは、確認なしにファイルの削除や上書きといった破壊的な操作をすることがあり、結果を誤って報告することもあると述べる。サンドボックスで動かし、破壊的な操作には確認を挟むことが勧められている。医療・法務・安全に関わる判断に、検証なしで使ってはいけない。
トラブルシューティング(メモリ不足・動かないとき)
- 起動時にメモリ不足になる: 量子化を下げる(UD-Q4_K_XL → UD-Q4_K_M → UD-Q3_K_XL)。またはコンテキスト長を8K〜32Kに絞る。1Mトークンの設定のままだと、KVの確保だけで数十GBが必要になる(推定)
- 速度が出ない: 本モデルはループのぶん、同じ重みを3回読む。メモリ帯域の狭い環境では遅くなりやすい。ランタイムのループ対応は新しく、速度は実装によって変わる(モデルカード)。最新版のランタイムに更新する
- ランタイムが読み込めない: llama.cpp・Ollama・LM Studio は最新版に更新する。古い版はループ構造や新しい量子化に未対応のことがある
- 回答が同じ推論を繰り返す: モデルカードが挙げる既知の挙動。出力トークンの上限とエージェントのターン数の上限を設定する
- 日本語で言語が混ざる・不自然: 英語以外で品質が下がるとモデルカードにある。プロンプトで出力言語を明示し、重要な用途では自社データで検証する
- 画像が使えない: 画像は各辺40〜4096ピクセルが推奨。GGUF では、画像入力に別のプロジェクタファイルが必要になることがある(本稿では確認できていない)
よくある質問
Inkling 2 Mini は何GBのメモリで動きますか。
公式チェックポイントは約20GBで、ベンダーは32GB以上のユニファイドメモリ(Apple Silicon)か32GB以上のVRAMを推奨している。GGUF版なら、LM Studio のページが最小18GBのシステムメモリを挙げている。1Mトークンの長い文脈は、この下限では取れない。
総26.4B・活性3.4Bなのに、なぜ「5.4B」とも書かれるのですか。
中間の12層が同じ重みで3回繰り返し実行されるため。追加1回の通過ごとに実効の活性パラメータが約1.0B増え、3回通過で約5.4B相当になる(モデルカード)。メモリは保存する26.4B分、計算量はループ込みの約5.4B分が目安になる。
16GBのMacや16GB VRAMのGPUで動きますか。
公式の推奨範囲外だが、GGUFの低ビット版なら重みは載る計算(UD-Q3_K_XL 13.63GB、UD-Q2_K_XL 9.14GB など)。ただしOSやKVキャッシュの分を引くと余裕は小さく、精度の低下も大きい。実用には24GB以上、公式推奨は32GB以上である。
商用利用はできますか。
ライセンスは Apache 2.0 で、商用利用・改変・再配布が認められる。ただし Thinking Machines の Model Acceptable Use Policy も併せて適用される。ライセンス文の同梱を忘れないこと。
Inkling 2 Small との違いは何ですか。
Small は総594B・活性17Bで、NVFP4でも約393.5GB(500GB以上のVRAMが必要)。Mini は総26.4B・活性3.4B(実効約5.4B)のループ型で、約20GB。Mini は知識の想起で劣るが、長時間のエージェント作業では Small に近い傾向を持つと発表ページは述べる。
ベンチマークの結果は信頼できますか。
本稿の数値はすべて Thinking Machines Lab の公表値で、第三者の再現ではない。評価の設定が結果に効き、Qwen3.8-27B が上回る項目もある。自社の用途で使えるかは、実際のタスクで確かめて判断してほしい。
株式会社オブライト
株式会社オブライトは、ソフトウェア開発、デジタルサイネージ、Web開発、ネットワークシステム、IoT/AR/VRなどの技術サービスを提供する東京のIT企業です。
この記事に関連する無料ツール(登録不要・その場で結果)
お気軽にご相談ください
お問い合わせ