エクシードシステム(Y.Sakamoto)

眠れる獅子こと「Gemini 4 Argon」+ Cursor の ts-bench の評価結果を共有する ●メモ ・さすがに Claude 族には及んでいないが、GPT 系列 よりは無駄がなさそう ・こうしてみると、GPT系列は簡単なタスクのわりにトークン消費が激しく見える ●結論 簡単なコーディングタスクにおいては、思ったより悪くなさそう。難しいタスクはこのベンチではわからない

GPT-6.1 Sol の評価が終わったので、満を持してここ最近ずっと回していた Terminal Bench 4.0 の評価結果を共有する 【メモ】 ・性能 Opus 5.5（medium）と GPT-6.1 Sol（high）が同じスコアでOpus 5.5（xhigh）は一段高い性能 →性能だけ見るなら、Opus 5.5 medium か high推奨 ・コスト GPT-6.1 Sol（high）がかなり安くタスク遂行できていて、Opus 5.5（medium）の1/4程度のコスト Opus 5.5（xhigh）はスコアが高い一方で、Opus 5.5（medium）比で2.6倍、GPT-6.1 Sol（high）比で10倍以上のコスト ・時間 Opus 5.5（medium）と GPT-6.1 Sol（high）は同じくらいで、Opus 5.5（xhigh）は倍程度 【注意点】 ・Sonnet 5.5 mediumはかなりスコアが低そうだったので途中で止めた。 maxはめちゃくちゃコストが高くなりがちで、5hレートリミットにかかりまくりだったので断念 →Antrhopicの報告に依るとSonnet 5.5（max）は Opus 5.5 よりも性能が良いらしいのでトークンが無尽蔵にある人は試してみてもいいかも 【結論】 ・コスパ重視（より低コスト）→GPT-6.1 Sol（high） ・コスパ重視→Opus 5.5 medium か high推奨 ・パフォーマンス重視→Sonnet 5.5（max）？