概要

Rubyコミッターとして知られる遠藤侑介氏が、13のプログラミング言語を対象にClaude Codeのコーディング効率を比較する大規模ベンチマークを実施し、その結果を公表した。600回以上の実行からなる本研究では、「簡略化されたGitの実装」という共通タスクを各言語で20回ずつ実行し、生成コストと処理時間を計測した。結果として、Ruby・Python・JavaScriptなどの動的言語が静的型付き言語より1.4〜2.6倍速く、かつ低コストであることが示された。AIによるコーディング補助において、言語の選択がパフォーマンスとコストに定量的な影響を与えることを示した注目の研究となっている。

ベンチマーク結果

各言語の1回あたりのコストと平均実行時間の上位・下位は以下の通り。

動的言語がトップ3を占めた：

  • Ruby: $0.36/回、73.1秒、分散低、成功率100%
  • Python: $0.38/回、74.6秒、分散低、成功率100%
  • JavaScript: $0.39/回、81.1秒、分散低、成功率100%

一方で静的型付き言語は相対的に低い効率を示した：

  • Go: $0.50/回、101.6秒（標準偏差37秒と高いばらつき）
  • Rust: $0.54/回、分散大、テスト失敗あり
  • C: $0.74/回、生成コード517行（Rubyの219行に対して）

型チェックのオーバーヘッドも計測されており、PythonにMyPy strict検査を適用すると1.6〜1.7倍、RubyにSteep型チェックを適用すると2.0〜3.2倍遅くなった。TypeScriptはJavaScriptと生成行数が近いにもかかわらず、コストはJavaScriptの$0.39に対して$0.62と約1.6倍高かった。

考察と限界

遠藤氏自身も認めているように、このベンチマークが測定しているのは「生成コストと速度」であり、コード品質・保守性・ランタイム性能は対象外である。またタスク規模は約200行程度のプロトタイプ開発に相当するものであり、大規模な本番コードベースでの結論を直接導くものではない。

コミュニティからも批判的な意見が寄せられており、各言語のエコシステムの充実度や標準ライブラリの豊富さといった利点が考慮されていない点や、プロトタイピングレベルの知見が大規模開発にそのまま適用できるかどうかについて疑問視する声がある。動的言語の生成コードが短くなりやすい一方で、実務上は型情報が長期保守において重要な役割を果たすという観点も見逃せない。

今後の展望

本研究は、AIコーディングツールの普及とともに「どの言語でAIに書かせるか」という問いが現実的な意味を持ち始めていることを示している。特に速度やコストを重視するプロトタイピングや自動生成パイプラインにおいては、言語選択の戦略的重要性が増すだろう。今後は、より大規模・複雑なタスクや複数のAIモデルを対象にした追加検証が待たれる。