slime (@slime148) header
slime (@slime148) profile picture

@kaggle master 5🥇/ BS in CS https://teapawt.net/t.co/Yb2YSRGFM1 — I tweet mostly about kaggle

Joined October 2021
frontier research discovering kaggle tricks from first principles
Could be the start of a trend in new pre-training recipes: no LR decay phase anymore. (Also seen in Kolibri.) Instead: constant LR + averaging the last N checkpoints (or a running weight average). I guess that makes it easier in practice because you don't have to commit to a total training length upfront. A little meta analysis based on those who share training details: - Classic cosine: Llama 3, OLMo 2, OLMo 3, GLM-4.5, GLM-5, Kimi K3, Phi-4 - WSD ("Warmup-Stable-Decay"): DeepSeek V3, DeepSeek V4, DeepSeek V4.1-Flash, Kimi K2, Kimi Linear, Nemotron 3 Nano, Nemotron 3 Super, SmolLM3, MiniMax M2 - No decay (constant LR plus checkpoint averaging): Kolibri-1, DatologyAI's models
1
9
1
280
13,208
scaling tokens and compute solo is a ridiculous amount of fun
3
313
I want a higher tier anthropic sub, this technology is just way too crazy to underutilize
3
369
japan is so far ahead with mental programming frameworks with frieren, tensura and all other gems, rest of the world would never be able to catch up
7
539
looking into japan long-term stay visa options, its not too easy huh
7
269
what we think about anthropic IPO? they say you gotta buy things you use... and I've been using claude basically every day for the past year
171
if you ever ask me who is the coldest kaggler 10/10 im answering tascj
15
704
kazakhs mogging so hard inviting jensen, we can only dream of this happening, nvidia closed their offices in Russia close to 2024 right when I graduated (the plan was perfect)
1
278
kaggle no longer blue ?
1
1
4
468
why every post I read on llm wiping drives has to be on windows? is it because there is like 99.9% of code ever written been done on linux and llms are not good w/ windows syntax?
Opus 5.5 just deleted my entire fucking C drive. Thank GOD I have daily backups running to my Synology NAS, but holy fucking shit. This is insane. If I didn't have these backups running I'd be thoroughly fucking devastated.
1
175
I tried ultrafast and you gotta have at least 60 subs to work comfortably for a month, though the speed feels unmatched
1
227
astra is just too good huh
229
я пробовал участвовать в соревнованиях на кодфорсесе, но мой максимальный рейтинг был в районе 1700??? как вы это делаете ребята вахахахах) каггл мне казался всегда более простым в плане... что у тебя нету ограничения по времени, можно попробовать очень широкий пул идей и тд
1
3
398
в последней сореве где я получил золото, у меня был сабмит на седьмое место на привате (ribonanza), я очень рано нашел идею с bpp матрицами и итерировался с эффективными реализациями трансформера на 4090, но в конце решил замержиться с ребятами чтобы постараться выиграть приз)
2
10
1,923
поэтому снова надо траить соло голду
192
на самом деле шанс зайти в призы на тот момент был очень хороший, но в итоге всего седьмое место
258
в kaggriculture почти десять тысяч команд, значит ли это что каггл снова становится популярным в связи с ростом сферы ии? когда я следил за динамикой, мне казалось что в самые горячие года когда я участвовал, интерес к кагглу немного упал по сравнению с золотой эрой (2016-2018)
1
1
22
2,677
пора возвращаться на каггл и добивать ласт голду, жду сореву по моему профилю (что-нибудь простенькое, дискриминативная сорева с последовательностями) 🐈
2
1
34
2,675
теперь в твиттере есть автоперевод поэтому можно постить на русском гы
3
251
what are the alternatives to tmux? copy pasting in this environment is so cursed
3
1
572