Rakuten AI 3.0の技術アーキテクチャ完全解説：MoEで実現する次世代日本語LLM

Rakuten AI 3.0とは：楽天が挑む次世代LLMの全貌

Rakuten AI 3.0は、楽天グループが経済産業省とNEDOが推進するGENIACプロジェクトの一環として開発した、約7000億パラメータ規模の大規模言語モデルです。2026年春にはApache 2.0ライセンスでHugging Faceから無償ダウンロード可能となり、日本語処理に特化したオープンソースLLMとして注目を集めています。最大の特徴は、Mixture of Experts（MoE）アーキテクチャを採用することで、推論時には全パラメータの約6%にあたる約400億パラメータのみをアクティブ化し、高速かつ効率的な処理を実現している点です。日本語MT-Benchでは8.88スコアを記録し、GPT-4oを上回る性能を示しました。楽天社内のマルチノードGPUクラスターで学習され、Rakuten AI Gatewayを通じて楽天エコシステム全体のサービスに展開される予定です。

Mixture of Expertsアーキテクチャの仕組み

Mixture of Experts（MoE）は、複数の専門化されたニューラルネットワーク（エキスパート）を組み合わせ、入力トークンごとに最適なエキスパートを動的に選択するアーキテクチャです。従来のDenseモデルでは全パラメータが常に計算に参加するのに対し、MoEではルーティング機構（ゲートネットワーク）が各トークンに対して最も関連性の高いエキスパートを選択します。これにより、モデル全体の表現力を保ちながら、実際の計算コストを大幅に削減できます。Rakuten AI 3.0では、トークンごとに8つの専門エキスパートの中から最適なものが選ばれ、加えて1つの常時アクティブ共有エキスパートが全トークンの処理に参加します。この設計により、約7000億パラメータの表現力を持ちながら、推論時には約400億パラメータのみで動作し、レイテンシとコストを劇的に改善しています。

8エキスパート構成の詳細と専門化戦略

Rakuten AI 3.0の8つのエキスパートは、学習プロセスを通じて自動的にタスクやドメインに特化していきます。各エキスパートは異なる言語パターン、文脈、タスクタイプに最適化され、例えば文章生成、コード生成、文書分析、データ抽出などの専門領域を担当します。ルーティング機構は、入力トークンの文脈を解析し、最も適切なエキスパートの組み合わせを選択することで、高品質な出力を生成します。さらに、1つの常時アクティブ共有エキスパートは全てのトークン処理に参加し、エキスパート間の知識共有と一貫性の維持を担います。この構成により、Rakuten AI 3.0は多様なタスクに対して柔軟に対応しながら、日本語特有の文法構造や敬語表現、ビジネス文書の作成など、複雑な言語処理を高精度で実行できます。

Dense vs MoE：アクティブパラメータ400億の効率性

従来のDenseモデルと比較すると、MoEアーキテクチャの効率性は顕著です。7000億パラメータのDenseモデルでは、推論のたびに全パラメータの計算が必要となり、膨大なGPUメモリと計算時間を消費します。一方、Rakuten AI 3.0では約400億パラメータのみがアクティブ化されるため、メモリフットプリントは約94%削減され、推論速度も大幅に向上します。楽天は第三者フロンティアモデル比で最大90%のコスト削減を実現したと発表しており、これはMoEアーキテクチャの計算効率によるものです。また、400億パラメータという規模は、単体のDenseモデルとしても十分な性能を持つサイズであり、MoEによる専門化と組み合わせることで、より大規模なDenseモデルに匹敵する品質を達成しています。この効率性は、企業がAIを実運用する上で極めて重要な要素です。

トレーニングインフラ：楽天社内GPUクラスターの実力

Rakuten AI 3.0の学習には、楽天が社内に構築したマルチノードGPUクラスターが使用されました。7000億パラメータ規模のMoEモデルを効率的に学習するには、高度な分散学習技術と最適化されたインフラが不可欠です。楽天のGPUクラスターは、データ並列化、モデル並列化、パイプライン並列化を組み合わせた3D並列学習を実装し、複数のGPUノード間で効率的にパラメータと勾配を同期します。また、MoEアーキテクチャ特有の課題である負荷分散（エキスパート間のバランス調整）や通信オーバーヘッドの最小化にも対応しています。GENIACプロジェクトの支援を受けながら、楽天は独自の学習パイプラインを構築し、日本語コーパスを中心とした大規模データセットで事前学習を実施しました。この社内インフラの存在が、Rakuten AI 3.0の迅速な開発と継続的な改善を可能にしています。

日本語MT-Benchで8.88を達成した理由

Rakuten AI 3.0が日本語MT-Benchで8.88という高スコアを達成した背景には、複数の技術的要因があります。第一に、学習データの質と量です。楽天は日本語に特化した高品質なコーパスを大量に収集し、ビジネス文書、技術文書、会話データなど多様なドメインをカバーしています。第二に、MoEアーキテクチャによる専門化です。8つのエキスパートが異なるタスクタイプに最適化されることで、文章作成、論理推論、数学的問題解決など、MT-Benchの多様な評価軸で高い性能を発揮します。第三に、日本語特有の言語構造への対応です。敬語表現、助詞の使い分け、文脈依存の意味解釈など、日本語処理の難しい側面を重点的に学習しています。これらの要素が組み合わさることで、GPT-4oを上回る日本語性能を実現し、実用的なビジネスシーンでも高品質な出力を生成できるモデルとなっています。

まとめ：AI導入を検討する企業へのメッセージ

Rakuten AI 3.0は、MoEアーキテクチャによる効率性と日本語特化の性能を兼ね備えた、次世代の大規模言語モデルです。Apache 2.0ライセンスでの公開により、中小企業を含む幅広い組織がこの先進技術を活用できるようになります。東京都品川区に拠点を置く株式会社オブライト（Oflight Inc.）では、品川区、港区、渋谷区、世田谷区、目黒区、大田区を中心とした地域企業向けに、Rakuten AI 3.0をはじめとする最新AI技術の導入支援とコンサルティングサービスを提供しています。技術アーキテクチャの理解から実装支援、業務への統合まで、包括的なサポートを通じて、企業のDX推進とAI活用を実現します。Rakuten AI 3.0の持つポテンシャルを最大限に引き出し、ビジネス価値につなげるパートナーとして、私たちにご相談ください。