26/07/2026
Opus 5 出ましたね!bengo-toolkit を Opus 4.8 と走らせ比べてみたら、おもしろい結果でした。
お題は /bengo-toolkit:overtime-calc(未払残業代計算)。労働条件通知書PDF+勤怠xlsx 6か月+給与明細PDF から、通勤手当の除外・年間休日から月平均所定労働時間の算出・法定休日の判定・月60時間超の分割まで。同じ指示文で各2回。
結果
・精度:互角。6か月分の時間内訳が全試行で完全一致、954,464円で着地
・出力トークン:Opus 5 が約半分(60k 対 115〜158k)
・所要時間:条件を揃えて 193秒 対 616秒
精度はもともと 4.8 でも十分だったので、進化は「同じ答えに半分のコストで着く」「作り込んだガードレールをちゃんと守る」という形で効いてきた印象です。
Claude の上で動く前提で設計したツールは、モデルの進化がそのまま製品の進化になる。これからの効率化ツールはそうあるべきだと思っています。作り込むほど陳腐化するのではなく、土台が伸びればプロダクトも伸びる構造に。