「GPU」のコラム

AMD Threadripper Halo Stationは2026年9月4日IFA発表のデスクサイド型AIワークステーション。96コアCPUとMI350P最大4枚でHBM3E最大576GB・帯域16TB/sを実現し4bit量子化で1兆パラメータ級モデルの実行を狙う。価格・発売時期は未発表。2026年9月更新。

ローカルLLMのVRAM不足の多くはモデル重みではなくKVキャッシュが原因です。KVキャッシュ量は2×レイヤ数×KVヘッド数×ヘッド次元×コンテキスト長×精度バイト数で概算でき、7B級のモデルでも128Kコンテキストで約17GBに達します。GQA/MQAと量子化による削減、OOM回避の実践設定を解説します。

2026年8月18日のModCon 2026で、ModularがMojoの完全オープンソース化を発表した。コンパイラ本体・標準ライブラリをApache 2.0 with LLVM exceptionsで公開し、公開範囲とビルド手順、まだ受け付けていない外部コントリビュートの範囲を技術者向けに整理する。

2026年8月、Modularがプログラミング言語Mojoの1.0を正式公開した。Mojo 1.0とは何かという定義から、インストール方法、対応OS・RAM・GPU環境、そしてPython・Rust・C++・CUDAとの違いまで、公式発表の内容のみをもとに技術者向けにわかりやすく丁寧に整理して解説する。

Gemma 4 の必要スペックを早見表で公開。VRAM要件は E2B/E4B が5GB、26B MoE が16GB、31B Dense が24GB（Q4）または62GB（FP16）。RTX 3060からH100、Apple Silicon M1〜M4、CPU動作、Mac/Windows/Linux別の推奨スペック・容量・動作環境・推奨GPU・予算別構成まで、2026年Q2時点の最新情報で網羅。

NVIDIA DGX Spark（GB10 Grace Blackwell Superchip、128GB ユニファイドメモリ、約 1 PFLOPS FP4、$4,699）の主要スペックと、機密性の高いコード資産の解析・移植案件で「ローカルLLMで分析・個人情報分離→他社LLMで移植」というリスクヘッジを組むための具体的な運用パターンを解説します。クラウドAIのオプトアウトでは経営承認が下りないケースをどう乗り越えるか、実務目線で整理。

楽天の最新LLM「Rakuten AI 3.0」をHugging Faceからダウンロードし、vLLMやTGIで推論環境を構築する手順を詳解。MoEモデル特有のGPUメモリ要件、量子化による軽量化、APIサーバー構築、本番運用のベストプラクティスまで実践的に解説します。