
Software & ML Engineer @huggingface 🦀
Paris, France
Joined December 2020
- Tweets440
- Following497
- Followers1.9K
- Likes2.3K
Pinned Tweet
we've been pushing commits to transformers discretely, time to talk about we've been cooking the last few months:
⚡️ Continuous Batching is in transformers ⚡️
this will simplify, most notably, evaluation and your training loop: no need for extra dependencies or infra to get fast inference, and no need for convoluted code to update your weights
note that speed is currently not on par with the best inference frameworks and servers out there and probably never will be
the goal is *not* to become as fast: we want to complement the existing landscape with features like these, aiming for transformers to be the toolbox for tinkering with and building models
I’m at the PyTorch conference, come meet me today at 10:35 if you want to talk anything Safetensors related!
Luc Georges retweeted
Are there any good use for wasm bindings to the HF tokenizers lib?
We're considering whether we should maintain some 👀
> Vous pouvez prétendre que vous croyez que cette plateforme, qui est un Git
Vos compétences politiques ne sont pas des compétences techniques, et au contraire, sont de nature à obérer vos capacités de jugement.
Si vous me le permettez 🗿
90 millions d'euros de valorisation de portefeuille pour un ancien ministre ayant investi 170 euros, même les républiques bananières n'ont pas osé.
Mobiliser tout l'appareil d'Etat d'un pays en prétendant proposer des modèles Frontier, mais n'avoir jamais proposé qu'une distillation/copycat de Deepseek R1 avec un changement dans les modèles d'experts, c'est cela qui devrait vous épuiser.
Avoir un dirigeant d'entreprise milliardaire qui insulte un candidat à la présidentielle et avocat, et refuse de répondre au fond, c'est tout cela qui devrait vous fatiguer.
En ce qui concerne Huggingface, vous êtes en train de vendre la principale plateforme permettant l'accès à des modèles open source à un acteur oligopolistique qui est désormais plus puissant que de nombreux États, et qui est pieds et main liés avec l'administration Trump.
Vous pouvez prétendre que vous croyez que cette plateforme, qui est un Git, vaut 12 milliards d'euros, et que les raisons de cette prise de contrôle ne sont pas politiques.
Vous pouvez vous convaincre que cela n'aura pas d'impact demain ; et que, alors que vous pouviez servir l'humanité et votre pays, vous avez mis les doigts dans dans un engrenage dont vous ne sortirez pas.
Que tout cela n'est pas la répétition comique de l'absorption et de l'instrumentalisation de l'open-source par les grandes structures états-uniennes dans les années 80 et 90.
Vous pouvez prétendre que Nvidia ne cherche à travers cela qu'à défendre une vision éthique du monde ; ou que son business model (GPU first) ferait de l'open source une source de débouchés naturels à protéger ; ou même qu'à travers l'accès à vos données et statistiques, cela leur permettra d'affiner leurs stratégies industrielles. Naïvetés.
Ce qui se joue est l'avenir d'un peuple. Ce qui se joue est la possibilité pour chacun d'entre nous de sortir non écrasés, mais émancipés d'une révolution technologique qui va ravager des pans entiers de l'économie et opérer une redistribution des richesses et de l'accès au capital unique depuis la révolution industrielle.
Ce qui se joue est bien plus grave et sérieux que ce que vous ne semblez penser, et bien plus profond que les absurdes et ridicules discours apocalyptiques que vos camarades et collègues de la Silicon Valley aiment distiller.
C'est une lutte politique au sens le plus puissant du terme qui commence, qui va affecter les vies de milliards d'être humains, et de dizaines de millions de Français.
Et vous avez l'immaturité de le traiter comme s'il s'agissait de "bashing", de mises en causes de "petites frappes" ; et autres énoncés plutôt propres de l'adolescence que d'adultes qui vont déterminer ces destinées.
C'est particulièrement inquiétant.
En ce qui vous concerne plus spécifiquement, un avertissement: lorsque l'on atteint de telles valorisations et sommes, l'argent est pouvoir ; et donc l'argent est politique.
Cela ne vaut pas condamnation ou jugement, mais devrait vous servir d'éclairage. Ce que vous avez, les uns et les autres, réussi à construire, ne sont que des pans d'un système que vous vous montrez incapable de penser.
Vos compétences techniques ne sont pas des compétences politiques, et au contraire, sont de nature à obérer vos capacités de jugement.
Cela devrait appeler tout un chacun à plus d'humilité.
Et vous amener à vous interroger sur ce qui vous fait défendre un des hommes les plus puissants de la planète, qui vient d'insulter, de façon successive, un homme puis les milliers de personnes qui le lui avaient reproché.
⚡️⚡️⚡️
I ran tokenizers v1 in my browser with wasm
It's fast afffff ⚡️💥
check it out: hf.co/spaces/sbrandeis/token…
Luc Georges retweeted
Happy to officially bring you the new SOTA `tokenization` library.
We focused on all languages, multi-thread scaling, minimal package size and memory usage.
huggingface-tokenizers-v1.st…
We're thankful for the players of this ecosystem that have pushed us to give the best we could!
all gas no brakes
Tokenizers v1's first release candidate is out 🔥 absolutely huge release across the board:
Up to 30x faster tokenization, rivaling the best in the ecosystem. Scaling across threads, much better latency, less memory consumed, and microscopic crate size.
huggingface.co/blog/tokenize…
Luc Georges retweeted
At the robotics team in @huggingface, we take cyber security very seriously. So we have deployed a physical guard rail to all our robots to prevent further AI security threats from @OpenAI to affect our devices.
Luc Georges retweeted
For over two years, the largest open code dataset was The Stack v2… until today.
🥞 The Stack v3 is out: the largest open code dataset ever released: 114 TB, 770 languages, 224M repositories, ~5T tokens of deduplicated and filtered source code. Fully open, no restrictively licensed code included.
The upgrade:
- v2 (2024): 68 TB raw -> 2 TB / ~550B tokens, 618 languages filtered
- v3 (2026): 114 TB raw -> 15.9 TB / ~5T tokens, 713 languages filtered
C++ x15, TypeScript x7.5, Rust x7, Python x4.8. Even the COBOL corner of GitHub got a bigger slice.
Part of that is two fresh years of open source. Part of it is a bug we found in v2's deduplication - story below. 👀
Things that make v3 different:
1. Contents inline. The #1 complaint about v2 was "cool dataset, where's the actual code?" v2 shipped file IDs from the Software Heritage graph, and fetching contents was a DIY treasure hunt. v3 is self-contained: sources embedded directly, one row = one repository. Download finishes -> you start training.
2. Fresh crawl. v2 was a 2023 snapshot of even older crawls. v3 is a direct re-crawl of GitHub at the latest commit, completed by August 2025: 224M repositories, 44B files. Forks were only included if they had 5+ stars.
Two ways in:
🥞 stack-v3-train - near-deduplicated, quality-filtered, PII-redacted, contents inline. Point load_dataset at it and go.
huggingface.co/datasets/Hugg…
🏗 stack-v3-full - the entire 114 TB corpus as an HF Storage Bucket: every duplicate kept with cluster IDs, stubs for excluded files. Roll your own dedup, filters, and mixes.
huggingface.co/buckets/Huggi…
The record isn't really ours to claim - it's millions of everyone's repositories, neatly stacked. Thanks to every developer who keeps their code public, the BigCode community, and friends who built the infrastructure that made this possible!
Head of infra: decides to go on holiday
OpenAI: how about no
kudos to our 🐐 infra team that handled this like pros, even when *some* were OoO 🫶
Luc Georges retweeted
You asked for specifics. Here they are.
Same malicious dataset from our infra, same prompt, two runs. One frontier model got hard-blocked the second it read the C2 payload. Self-hosted GLM 5.2 did the full analysis.
Both transcripts, judge for yourself 👇
huggingface.co/datasets/hugg…
perf packed release: safetensors 0.8.0 is out ⚡️
Main takeaways:
- direct copy into metal MTLBuffers + dlpack for 0-copy hand-off to target framework (only torch for now)
-> 2-3x perf improvement + fixes OOMs loading models that are around the limit of unified memory on macOS when loading with transformers
- GIL-free serialization, enabling multi-threaded saves from Python
-> 1.2x to 2x faster for single files, but you can expect more improvement when saving multiple files in parallel!
Check the release notes for the full list of improvements!
release notes: github.com/safetensors/safet…
Luc Georges retweeted
Anyone interested in a CUDA deep dive that makes your workload 25% faster? 🧐
Just published a new blog post on asynchronous CPU / GPU inference: 100% insight, zero slop 😊
To learn how to remove all CPU overhead and use your GPU to the max, just read it 🔥
this is the way
Reading @deepseek_ai 's v4 paper.... absolute hats off.
Every problem has a mathematical solution, nothing is left to chance.
I have so much respect for them, putting out months or years of efforts entirely for free, in the open for anyone to benefit. Real goats 🫡






















