Introducing FrontierCode 2.0: our new coding benchmark that measures a model’s ability to go beyond the spec. Most coding evals measure a model’s ability to write code that meets a spec. With FrontierCode 1.0, we asked a new question: would you actually merge the PR? FrontierCode 2.0 is comprised of more diverse tasks, featuring larger scopes and higher mergeability standards. We are now asking: not only would you merge this PR, but should you? One key feature of FrontierCode 2.0 is underspecified prompts. Rather than including every engineering decision, prompts are deliberately ambiguous, giving the models room to demonstrate their judgment. The result is a benchmark that is far from saturated, with the top model scoring just 45%.

レトロゲーム界隈のルールをよく理解せずに、こういう動画を投稿したらどうなるか？という所まで考えが至らず、混乱を招いたことお詫びいたします。申し訳ありませんでした。 私がやったことは、ミニ四駆のレースをしているところに、ブラシレスモーターとリポバッテリーを積んだマシンを持ってって走らせたようなものです。 それだとレギュレーション違反と言われても仕方ありません。私は「ルール無用マシン」を作って持ってきたことを必要最低限でも説明すべきでした。 今後は今回の件を反省しつつ、「ルール無用ファミコンカセット」とそれを限界まで使ったオリジナルゲームを、手ごろな価格で提供できるように開発を続けていきますので、よろしくお願いいたします。

ファミコン実機で動くレースゲームをドパ仕様化した カーブ曲がるときに画面がロールするようにしてみた。