Robin LeWilliamNorth

Le labo de Mira Murati, ex-CTO d'OpenAI, vient de sortir un modèle de 594 milliards de paramètres. Il s'appelle Inkling 2 Small. Le « Small » se comprend quand on regarde comment il fonctionne. C'est un mixture-of-experts (MoE) : le modèle contient de nombreux sous-réseaux spécialisés et, pour chaque mot, il n'en réveille qu'une partie, soit 17 milliards de paramètres. Il a les connaissances d'un gros modèle, mais coûte à faire tourner à peu près comme un modèle moyen. Côté niveau, il obtient 30,6 sur l'indice d'Artificial Analysis, une note indépendante qui agrège plusieurs benchmarks. C'est mieux que GLM 5.3 Flash (27,8), un modèle chinois de taille comparable, et presque au niveau de DeepSeek V4.1 Flash (32,6), la référence de sa catégorie. Il dépasse surtout Mistral Large 4 (26,1), le grand modèle ouvert européen, alors qu'il active presque trois fois moins de paramètres. Pour Nathan Lambert, chercheur américain spécialiste des modèles ouverts, c'est le meilleur modèle ouvert occidental. Le modèle lit le texte et les images, et vise surtout le code, les agents qui travaillent longtemps seuls et la finance. En cybersécurité, il est au niveau des meilleurs modèles ouverts pour repérer et corriger des failles : 79,6 % sur PatchEval, contre 80,4 % pour DeepSeek V4.1 Flash et 76,1 % pour Mistral Large 4. Pour attaquer des systèmes, il reste en revanche derrière eux. Pour montrer ce qu'il voit, le labo l'a opposé à ses chercheurs dans une dégustation à l'aveugle. Sur une simple photo de trois verres, il devait retrouver lequel contenait un cabernet de 1999, un cabernet de 2019 ou un nebbiolo de 2023, rien qu'à leur couleur. Il a vu juste 19 fois sur 20, mieux que des chercheurs de l'équipe. Ce qui a le plus fait parler les chercheurs sur X, c'est la vitesse de fabrication. Un modèle se fabrique en deux grandes étapes. D'abord, il lit une quantité énorme de textes, de code et d'images pour apprendre comment le monde s'écrit : c'est le pré-entraînement. Ensuite, il s'exerce sur des tâches et il est récompensé quand il réussit : c'est l'apprentissage par renforcement. Chez Thinking Machines, la phase principale de lecture a pris 68 heures, et l'entraînement par la pratique 9 jours. Leur astuce : faire tous les calculs avec des nombres arrondis, sur 4 bits au lieu de 8 ou 16 d'habitude. C'est comme compter en euros ronds plutôt qu'au centime près : moins précis, mais beaucoup plus rapide et moins cher. Et le modèle obtenu reste au niveau de ses concurrents. Quand les étapes principales se comptent en jours plutôt qu'en mois, un labo peut essayer beaucoup plus de recettes dans l'année. Pour un labo de deux ans face à OpenAI ou Google, c'est le meilleur moyen de rattraper son retard. Détail révélateur : pour apprendre à travailler en agent, Inkling a d'abord étudié des exemples générés par d'autres modèles, dont le chinois Kimi K3, à côté de leurs propres modèles. C'est devenu la norme, car les modèles fermés comme GPT ou Claude interdisent qu'on entraîne un concurrent avec leurs réponses. Résultat : même le meilleur modèle ouvert occidental s'appuie en partie sur l'open source chinois. On peut déjà l'utiliser et le fine-tuner sur ses propres données via Tinker, leur plateforme. Les poids devraient sortir la semaine prochaine sous licence Apache 2.0, donc utilisables commercialement, une fois terminés les tests de sécurité menés par des équipes externes. Et si vous l'entraînez sur vos données dès maintenant, vous pourrez ensuite récupérer votre version personnalisée et la faire tourner chez vous. Attention quand même : 17 milliards actifs ne veut pas dire que ça tourne sur un laptop. Il faut charger les 594 milliards, soit plus de 300 Go même en 4 bits, donc un serveur avec plusieurs gros GPU.