「MoE」のコラム

DeepSeek が 2026年4月24日に公開した DeepSeek V4 Preview の概要。V4-Pro（1.6Tパラメータ / 49Bアクティブ）と V4-Flash（284B / 13B）の2モデル、100万トークンコンテキスト、Hugging Face でのオープン重み公開、API・チャットでの提供開始など、要点を公式情報ベースで整理します。

Z.aiが2026年4月7日にリリースしたGLM-5.1は、SWE-bench Proで58.4%を達成しGPT-5.4やClaude Opus 4.6を超えた世界初のオープンソースLLM。744Bパラメータ（40Bアクティブ）のMoEアーキテクチャ、MITライセンス、8時間自律タスクなど最新情報を完全解説。

Moonshot AIが2026年1月27日にリリースしたKimi K2.5は、1兆パラメータ（32Bアクティブ）MoEモデル。SWE-bench 76.8%、HumanEval 99.0%、GPQA Diamond 87.6%を達成しMITライセンスで公開。アーキテクチャ・ハードウェア要件・Ollama導入・ユースケースを完全解説。

2026年3月リリースのMistral Small 4は、推論・マルチモーダル・エージェントコーディングを1モデルに統合した119B MoE。Apache 2.0ライセンスで商用利用可能、日本語を含む11言語対応。スペック・導入手順・比較を完全解説。

MiniMax M2.5は独自のLightning AttentionによりコーディングベンチマークSWE-bench Verifiedで80.2%を達成したオープンMoEモデル。230B総パラメータ・10Bアクティブ。アーキテクチャ・ライセンス・導入手順を完全解説。

楽天が開発した約7000億パラメータのRakuten AI 3.0のMixture of Expertsアーキテクチャを徹底解説。8エキスパート構成、アクティブパラメータ400億の効率性、日本語MT-Benchで8.88を達成した技術的背景を詳しく紹介します。

NemoClawのNIM推論マイクロサービスとNemotronモデルファミリーの技術詳細を解説。コンテナ化APIエンドポイント、エラスティックスケーリング、Nemotron 3 Super（1200億パラメータ、MoE 120億アクティブ）の性能、AWS・Azure・GCP・オンプレでのデプロイ比較、エッジデバイスでの軽量運用、Salesforce・CrowdStrike等パートナー連携の活用事例を詳述します。