frontier research discovering kaggle tricks from first principles
Could be the start of a trend in new pre-training recipes: no LR decay phase anymore. (Also seen in Kolibri.)
Instead: constant LR + averaging the last N checkpoints (or a running weight average).
I guess that makes it easier in practice because you don't have to commit to a total training length upfront.
A little meta analysis based on those who share training details:
- Classic cosine: Llama 3, OLMo 2, OLMo 3, GLM-4.5, GLM-5, Kimi K3, Phi-4
- WSD ("Warmup-Stable-Decay"): DeepSeek V3, DeepSeek V4, DeepSeek V4.1-Flash, Kimi K2, Kimi Linear, Nemotron 3 Nano, Nemotron 3 Super, SmolLM3, MiniMax M2
- No decay (constant LR plus checkpoint averaging): Kolibri-1, DatologyAI's models
why every post I read on llm wiping drives has to be on windows?
is it because there is like 99.9% of code ever written been done on linux and llms are not good w/ windows syntax?
Opus 5.5 just deleted my entire fucking C drive.
Thank GOD I have daily backups running to my Synology NAS, but holy fucking shit. This is insane. If I didn't have these backups running I'd be thoroughly fucking devastated.
1
175
я пробовал участвовать в соревнованиях на кодфорсесе, но мой максимальный рейтинг был в районе 1700??? как вы это делаете ребята вахахахах)
каггл мне казался всегда более простым в плане... что у тебя нету ограничения по времени, можно попробовать очень широкий пул идей и тд
1
3
398
в kaggriculture почти десять тысяч команд, значит ли это что каггл снова становится популярным в связи с ростом сферы ии? когда я следил за динамикой, мне казалось что в самые горячие года когда я участвовал, интерес к кагглу немного упал по сравнению с золотой эрой (2016-2018)




