Dense Model（高密度モデル）

概要

Dense Modelは従来の標準的なTransformerアーキテクチャで、各入力トークンを処理する際にモデルの全パラメータが活性化されます。Llama・Qwen Dense・Gemma・Phi等が代表例です。MoEと対比する文脈で使われる用語で、パラメータ数と推論コスト（FLOPs）が線形に比例するため、スケールアップには大きな計算リソースが必要です。

MoEとの使い分け

同じパラメータ規模であればDense ModelはMoEより少ないVRAMで動作し、デプロイが簡単です。7B〜27BクラスのDenseモデルはコンシューマーGPU上での推論に最適で、ローカルLLM用途で広く使われています。