コーディングエージェントは「ハーネス」で費用が2倍変わる
Databricks の社内検証、Pi の最小構成、pi-autoresearch で Liquid を53%高速化【2026年版】
Databricks の社内検証では、同じモデル・同じ思考量でも Claude Code/Codex と Pi で1タスクの費用が場合によって2倍以上違い、品質は同じだった。原因はコンテキスト量。Pi が少ない量で動く理由と、pi-autoresearch で Shopify の Liquid を53%速くした PR、自社での活かし方を一次情報で整理する。
AI コーディングの費用は「どのモデルを使うか」で決まると思われがちだ。しかし Databricks が2026年7月8日に公開した社内検証では、同じモデル・同じ思考量でも、動かすツール(ハーネス)を変えるだけで1タスクあたりの費用が場合によって2倍以上変わり、品質は同じだった。差を生んだのは、ツールがモデルに毎回渡すコンテキストの量だ。
この検証で「多くの場合で最も成績がよかった」と名前が挙がったのが、機能を最小限に絞ったオープンソースのエージェント Pi(pi.dev)だ。本記事では、Databricks の検証の中身、Pi が少ないコンテキストで動く理由、そして Pi の拡張 pi-autoresearch を使って Shopify の Tobi Lütke CEO がテンプレートエンジン Liquid を53%速くした事例を、一次情報をもとに整理する。
3行でわかるポイント
- ハーネスで費用が変わる: Databricks の検証で、同じモデル・同じ思考量でも Claude Code/Codex と Pi では1タスクあたりの費用が場合によって2倍以上違った。Pi が1回ごとに渡すコンテキストは約3分の1
- Pi は最小構成: 既定で有効なツールは read・bash・edit・write の4つだけ。サブエージェントやプランモードは入っておらず、必要なら拡張で足す
- 拡張で自動最適化: pi-autoresearch は「試す→測る→残すか戻す」を自動で繰り返す拡張。Shopify の Liquid で parse+render 53%短縮の PR が出ている(未マージ)
そもそも「ハーネス」とは
ハーネスは、AI モデルを動かすための土台のツールだ。Claude Code、Codex、Pi などがこれに当たる。モデルそのものは「考えて文章を出す」部分で、ハーネスは「何を指示し、どのツールを渡し、ファイルの中身や実行結果をどれだけ会話に入れるか」を決める部分になる。
| 役割 | 例 | 費用への影響 |
|---|---|---|
| モデル | Opus 4.8、Sonnet 5、GPT 5.4 Mini、GLM 5.2 など | トークン単価と、タスクを解くまでに使うトークン量 |
| ハーネス | Claude Code、Codex、Pi など | システムプロンプトやツール説明の量、毎回会話に入れるコンテキストの量、やり直しの回数 |
AI の利用料はおおむね「やり取りしたトークン量」で決まる。ハーネスが毎回たくさんの情報をモデルに渡せば、同じモデルでも費用は膨らむ。Databricks の検証は、この差が想像以上に大きいことを実データで示した。
Databricks の社内検証 — 何をどう測ったか
Databricks のブログは、数百万行規模の自社コードベース(Python、Go、TypeScript、Scala、Rust など)で、エンジニアが実際に行った作業をもとにベンチマークを作り、モデルとハーネスの組み合わせを比べた。作り方は次のとおり。
1. 最近マージされた、人が書いた PR(ボットや AI が全部生成した変更は除く)のうち、良いテストが付いていて、変更が数モジュールに収まるものを選ぶ
2. PR の目的を、解き方を伏せたタスク文に書き直す
3. テストファイルを取り分け、エージェントには残りの変更を自力で書かせる
4. エージェントが「完了」と言った時点のコードに取り分けたテストを当て、合否を判定する(AI による採点は使わない)
5. 各ハーネスは標準設定のまま使う。正解が git の履歴から見えてしまう問題に気づき、実行中は履歴を切り離した
Databricks はこの検証を「網羅的なものではない」と断ったうえで、結論を4つ挙げている。
| 結論 | 内容 |
|---|---|
| 1. 最適な組み合わせは1社に限らない | 費用あたりの品質が最も高い組み合わせには、OpenAI・Anthropic・オープンモデルが混在した |
| 2. オープンモデルが実用水準に | GLM 5.2 は品質で Opus 4.8 と統計的に同等の最上位グループに入り、費用は1タスク$1.28(Opus 4.8 は$1.94) |
| 3. トークン単価は実費の目安にならない | Sonnet 5 はトークン単価が Opus 4.8 の約1.7分の1だが、1タスク$2.09と Opus($1.94)より高く、完了率も81%対87%と低かった。長く作業し、1.9倍のトークンを使ったため |
| 4. ハーネスで費用と品質が大きく変わる | 多くの場合、Pi のような単純なハーネスが最もよい成績だった |
4つ目の結論について、ブログ本文は「同じモデルを同じ思考量で、Claude Code/Codex と Pi の2つのハーネスから動かすと、1タスクあたりの費用は大きく違い(場合によって2倍以上)、品質は同じだった」と書く。主な違いは各ハーネスが1回ごとにモデルへ渡すコンテキストの量で、Pi は約3分の1。作業に必要な情報をより絞り込み、少ない回数でタスクを終えていたという。
なお、解説記事では「Opus 4.8・高 effort で Pi は品質85%(Claude Code は87%)を保ちつつ費用が2.08分の1」「1タスクのコンテキスト量が約74万トークン対約24万トークン」といった具体的な数値も紹介されている。ただしこれらはブログ本文には書かれておらず、図表から読み取られた値とみられる。本記事では本文で確認できる範囲を中心に扱う。
検証結果を読むときの注意点
- 「Pi が常に安い」ではない: Databricks 自身が「あるハーネスが常に安い、あるいは各社純正のハーネスが劣るという教訓ではない」と書いている。伝えたいのは「モデル選びはパズルの1ピースにすぎない」という点だ
- 2026年7月時点の設定: 各ハーネスは当時の標準設定で測られた。その後のアップデートでシステムプロンプトの量などが変われば、差も変わる
- 自社のコードでの結果: 10以上の言語が混ざる Databricks のコードベースでの結果で、ほかの会社や案件にそのまま当てはまるとは限らない
- Databricks の立場: Databricks はモデルやハーネスを切り替えやすくする自社の仕組み(Omnigent、Unity Gateway)にも投資しており、結論はその方針とも結びついている
Pi はなぜ少ないコンテキストで動くのか
Pi は Mario Zechner 氏が作り、現在は Earendil Inc. が開発する MIT ライセンスのターミナル型エージェントだ(詳しくは Pi(pi.dev)とは)。公式ドキュメントによれば、既定で有効なツールは read・bash・edit・write の4つだけで、grep・find・ls・codemode などは必要に応じて有効にする。公式サイトは、サブエージェント、プランモード、権限ポップアップ、組み込みの ToDo、バックグラウンド bash を「入っていないもの」として明記している。
| 観点 | Pi の考え方 |
|---|---|
| 標準機能 | 最小限(既定のツールは4つ)。システムプロンプトとツール説明が短い |
| 足りない機能 | TypeScript の拡張(Extensions)、必要時に読み込むスキル、プロンプトテンプレートで足す。npm や Git でパッケージとして配れる |
| モデル | Anthropic・OpenAI・Google・Azure・Bedrock などの多数のプロバイダーとローカルモデルに対応。タスクごとに切り替えられる |
| 安全面 | 権限ポップアップもサンドボックスもない。コンテナや VM の中で動かすことが推奨されている |
毎回モデルに渡す「前置き」が短く、ツールの数も少ないほど、1回のやり取りで消費するトークンは減る。機能を最初から全部入れるのではなく、必要な分だけ後から足すという設計が、Databricks の検証で見えたコンテキスト量の差につながっていると考えられる。
pi-autoresearch — 「試す→測る→残す」を自動で回す拡張
pi-autoresearch は、Pi に自動の最適化ループを与える拡張機能だ。Andrej Karpathy 氏の autoresearch(AI に半自律的な実験を繰り返させる考え方)に着想を得ており、README は「アイデアを試し、計測し、うまくいったものを残し、だめなものを捨てる。それを繰り返す」と説明する。テストの実行時間、バンドルサイズ、LLM の学習、ビルド時間、Lighthouse のスコアなど、数値で測れる目標なら何にでも使える。ライセンスは MIT。
# インストールして Pi を起動
pi install npm:pi-autoresearch
pi
# Pi の中でループを始める(例: ユニットテストの実行時間を短くする)
/autoresearch optimize unit test runtime, monitor correctness| 要素 | 役割 |
|---|---|
| init_experiment | 最初に一度だけ、名前・指標・単位・良くなる方向を設定する |
| run_experiment | 任意のコマンドを実行し、所要時間と出力を記録する |
| log_experiment | 結果を記録して自動でコミットし、画面のダッシュボードを更新する |
| .auto/measure.sh | 計測用スクリプト。METRIC name=数値 の形で結果を出す |
| .auto/checks.sh(任意) | テスト・型・lint のチェック。失敗すると変更を残せない |
| /autoresearch finalize | 残した実験を、レビューしやすい独立したブランチに分ける |
3回以上実行すると、最も良い改善がばらつき(ノイズ)の何倍かを示す「信頼度スコア」も表示される。2.0倍以上なら本物の改善の可能性が高く、1.0倍未満ならノイズの範囲という目安だ。
Shopify の事例 — Liquid の parse+render を53%短縮
Shopify の Tobi Lütke CEO は、2026年3月に同社のオープンソースのテンプレートエンジン Liquid へ PR #2056 を出した。PR によれば、Pi と pi-autoresearch を使って約120回の自動実験を行い、「編集→コミット→テスト→ベンチマーク→残すか捨てるか」を繰り返した結果、93コミットの変更になった。pi-autoresearch は Lütke 氏と Shopify の David Cortés 氏が公開したものだ。
| 指標 | 変更前 | PR | 変化 |
|---|---|---|---|
| parse+render | 7,469µs | 3,534µs | −53% |
| parse | 6,031µs | 2,353µs | −61% |
| render | 1,438µs | 1,146µs | −20% |
| オブジェクト割り当て | 62,620 | 24,530 | −61% |
計測は実際の Shopify テーマのテンプレートと本番に近いデータを使ったベンチマークで、Ruby 3.4(YJIT 有効)で行われた。974件のユニットテストはすべて通っている。CPU 時間の74%をガベージコレクションが占めていたため、オブジェクトの生成を減らす方針で改善を重ねたという。
- ベンチマーク上の値: 53%はこのベンチマークでの数値で、すべてのストアの表示が53%速くなるという意味ではない。報道によれば Lütke 氏自身も「おそらくある程度は過剰適合(overfit)している」と留保を付けている
- 未マージ: 2026年11月20日時点で PR はオープンのままで、Liquid 本体には取り込まれていない
- 人のレビューが前提: 自動ループはテストが通る変更を残すだけで、設計としての妥当性や保守のしやすさは人が確認する必要がある
自社で AI コーディングを使うときの活かし方
Databricks の結論は、社内で AI コーディングを広げる会社にもそのまま使える。費用を抑えつつ品質を落とさないための考え方を整理する。
| やること | 内容 |
|---|---|
| 作業の難しさでモデルを分ける | 設定の変更やフラグの切り替えのような作業は安いモデルで十分。Databricks も、より多くの作業を Haiku や GPT 5.4 Mini クラスに回すと判断した |
| 1タスクあたりの費用で比べる | トークン単価が安いモデルでも、長く作業して多くのトークンを使えば結局高くなる |
| ハーネスも比べる | 同じモデルでもツールで費用が変わる。主力のツールを1つに決め打ちせず、切り替えられるようにしておく |
| 自社のデータで測る | マージ済みの PR とテストがあれば、それがそのまま「どのモデルも学習していない」自社用ベンチマークになる |
| 測れる目標は自動ループに任せる | テスト時間やビルド時間など数値で測れる改善は、pi-autoresearch のような仕組みで候補を出し、人がレビューして取り込む |
Pi 自体は無料だが、動かすモデルの API 利用料は別にかかる。権限ポップアップがないため、使う場合はコンテナや VM の中で動かし、認証情報や本番環境に触れない形にしておくのが安全だ。Pi の導入手順と安全に動かす条件は Pi(pi.dev)とは、ターミナルで複数のエージェントを動かすツールは Rex(Superlogical) や Corgi の記事も参考になる。
よくある質問
ハーネスとは何?
AI モデルを動かす「土台のツール」のこと。Claude Code、Codex、Pi などが当たる。モデルにどんな指示(システムプロンプト)やツールを渡し、ファイルの中身や実行結果をどれだけ会話に入れるかを決める。同じモデルでも、ハーネスによって使うトークン量、つまり費用が変わる。
Pi を使えば費用が半分になる?
そうとは限らない。Databricks の検証では同じモデル・同じ思考量で1タスクあたりの費用が「場合によって2倍以上」違ったが、Databricks 自身が「あるハーネスが常に安いという意味ではない」と書いている。結果は自社のコードベースと2026年7月時点の各ツールの設定によるもので、ツールの更新でも差は変わる。自分の作業で計測して判断するのが確実だ。
Databricks の検証で品質に差はあった?
ブログ本文によれば、同じモデル・同じ思考量でハーネスだけを変えた場合、費用は大きく違ったが品質は同じだった。差の主因は、各ハーネスが1回のやり取りごとにモデルへ渡すコンテキストの量で、Pi は約3分の1だったとしている。
pi-autoresearch は何をする?
Pi の拡張機能で、「アイデアを試す→計測する→良くなれば残し、悪くなれば戻す」を自動で繰り返す。テストの実行時間、バンドルサイズ、ビルド時間、Lighthouse のスコアなど、数値で測れる目標なら使える。MIT ライセンスで、pi install npm:pi-autoresearch で入れられる。
Shopify の Liquid は本当に53%速くなった?
Tobi Lütke 氏の PR によれば、実際の Shopify テーマを使ったベンチマークで parse+render が7,469µs から3,534µs(53%短縮)、オブジェクト割り当てが61%減り、974件のユニットテストはすべて通った。ただし測定はこのベンチマーク上の値で、2026年11月20日時点で PR はまだマージされていない。
うちの会社で AI コーディングの費用を抑えるには?
Databricks の結論にならうと、①難しくない作業は安いモデルに回す、②トークン単価ではなく1タスクあたりの費用で比べる、③ハーネスも比較の対象に入れる、の3点が効く。自社の過去の変更(PR)とテストを使えば、小さくても自前の比較ができる。
まとめ
Databricks の社内検証は、AI コーディングの費用が「モデル」だけでなく「ハーネス」でも大きく変わることを示した。同じモデル・同じ思考量でも、ツールが毎回渡すコンテキストの量しだいで、1タスクあたりの費用は場合によって2倍以上違う。機能を絞った Pi はその好例で、拡張の pi-autoresearch を使えば、測れる目標に向けて改善案を自動で試し続けることもできる。
ただし、これは「Pi に乗り換えれば安くなる」という話ではない。結果は Databricks のコードと当時の設定によるもので、ツールの更新でも変わる。自社の作業で1タスクあたりの費用と品質を測り、モデルとハーネスを切り替えられるようにしておくことが、いちばん確実な費用対策になる。
参考リンク
- Benchmarking Coding Agents on Databricks' Multi-Million Line Codebase(Databricks、2026-07-08)
- Pi 公式サイト
- Pi 公式ドキュメント CLI(既定のツール)
- pi-autoresearch(GitHub)
- Shopify/liquid PR #2056: Performance: 53% faster parse+render, 61% fewer allocations
- Simon Willison: Tobi Lütke の Liquid PR について(2026-03-13)
- karpathy/autoresearch(GitHub)
- AIコーディングエージェントは「足す」から「削る」へ(しゃり、note)
株式会社オブライト
株式会社オブライトは、ソフトウェア開発、デジタルサイネージ、Web開発、ネットワークシステム、IoT/AR/VRなどの技術サービスを提供する東京のIT企業です。
この記事に関連する無料ツール(登録不要・その場で結果)
お気軽にご相談ください
お問い合わせ