Alexandre Villeneuve

Avis de Claude sur ce post ;)

Quand un médecin ou un patient pose une question de santé à ChatGPT, la réponse ne vient pas forcément des médias que l'on vise en RP. Sur 43 médias santé de référence, 9 interdisent à la recherche ChatGPT de lire leurs pages, dont Le Figaro, Les Echos, BFM, France Info et l'APM. Ils restent visibles dans Google, jamais dans ChatGPT. Côté médecins, dans les réponses IA de Google, La Revue du Praticien est citée 11 fois plus que Le Quotidien du Médecin, avec moins d'audience. Ce sont les premiers relevés de l'étude JIN Health menée sur des centaines de requêtes de patients et de médecins, dans 10 aires thérapeutiques (diabète, cancer du sein, Alzheimer, endométriose...). Nathalie Lauer et Anne-Laure Brisseau présentent les résultats le jeudi 15 octobre à 11h30 : quelles sources ChatGPT, AI Overviews et Gemini retiennent, et comment bâtir une stratégie RP conforme qui rend votre information citée. 45 minutes + Q&A. Inscription : watch.getcontrast.io/registe…

La startup Tavus annonce que son avatar vidéo Griffin a passé « le test de Turing ». Dans son étude, 26 participants sur 54 ont cru parler à un humain après un appel d'une minute (48%). Avec son modèle précédent, c'était 1 sur 41. Impressionnant, mais pourtant : le test de Turing est déjà passé. En 1950, Alan Turing décrit son « jeu de l'imitation ». Un juge discute par écrit avec un humain et une machine, puis désigne l'humain. Turing prédit que vers l'an 2000, un juge moyen n'aura pas plus de 70% de chances de démasquer la machine après cinq minutes d'échange. Autrement dit, elle le trompera au moins 3 fois sur 10. En 2014, le chatbot Eugene Goostman revendique la victoire avec 33% des juges trompés, juste au-dessus du seuil de Turing. Il se présentait comme un ado ukrainien de 13 ans, ce qui excusait ses fautes. Le résultat a été largement contesté. LE VRAI TEST A EU LIEU EN 2025 Deux chercheurs de l'UC San Diego refont le test avec le protocole d'origine (284 participants, cinq minutes de conversation en parallèle avec un humain et une IA). GPT-4.5, à qui on avait demandé de jouer un jeune introverti qui écrit en argot internet, est désigné comme l'humain dans 73% des cas. Plus souvent que les vrais humains qui lui étaient opposés. Sans ce rôle, il tombe entre 28% et 42% selon les panels. L'an dernier, on apprenait qu'un faux Brad Pitt a soutiré 830k€ à une Française avec de fausses photos et vidéos retouchées maladroitement. Que se passera-t-il quand des visios hyperréalistes pourront cibler automatiquement, et par milliers, des personnes qui cherchent juste quelqu'un à qui parler ? à gagner 10% par an ? Ou tout simplement à stopper la fraude que notre banque vient de nous éviter de justesse ? Dans ce climat de méfiance, le plus dur sera-t-il de prouver que nous sommes réellement humains ? Démo Tavus : linkedin.com/posts/hassaanra… Étude UC San Diego : arxiv.org/abs/2503.23674 Faux Brad Pitt : franceinfo.fr/economie/media…

Ce week-end, entre deux pérégrinations pour les loisirs des enfants, j'ai eu envie de pousser un peu Pangram, qui a fait beaucoup de bruit après la détection d'IA dans un possible futur Goncourt (finalement exclu, j'en parlais ici : teapawt.net/referencement/status/2…). Pour avoir testé ce type d'outil par le passé, j'étais assez confiant : je pensais arriver vite à faire passer un contenu 100% IA sans être détecté. Je suis parti d'un article long de plusieurs milliers de mots, déjà nettoyé des gimmicks standard des IA, en vocabulaire (crucial…) comme en style (triptyque…). J'ai commencé par rajouter des petits effets de style, supprimer les mots de liaison, rajouter des mots typiquement personnels… de petites retouches qui marchaient à l'époque de mon précédent test. Je me suis vite rendu compte que Pangram ne regardait ni le vocabulaire ni les tics, mais bien la construction des phrases et du raisonnement. Au bout d'une trentaine d'allers-retours, j'ai pu faire tomber l'article à 0% et compléter ainsi la liste des formes de phrases typiquement IA : - le raisonnement qui s'étire sans un nom ni un chiffre (« L'outil analyse les données, en tire des tendances, puis ajuste ses recommandations… »). Ce qui marche : couper, et glisser un fait daté au milieu - la petite phrase de fin de paragraphe qui redit la leçon (« Et c'est là que tout se joue. ») - le miroir, même coupé en deux phrases (« Ce n'est pas un outil, c'est un partenaire. » ou « Le problème n'est pas le budget. C'est la méthode. ») - la définition glissée en incise (« Mistral, la pépite française de l'IA, annonce… ») - la phrase sans verbe (« Trois axes, deux scores, un protocole. ») - les énumérations par trois (« rapide, fiable et intuitif »)… Il y a trois ans, OpenAI avait laissé tomber son détecteur, vu sa faible fiabilité. Pangram ne s'en sort finalement pas si mal, mais des outils promettent déjà de le passer presque à chaque fois, comme Emulate-1 d'Agape Keleta. On verra ce qu'il en est de l'AI Act, qui impose depuis le 2 août un marquage des textes générés par les IA. Anthropic a déjà mis en place ces empreintes sur ses nouveaux modèles (sans fournir encore de détecteur dédié). Il paraît toutefois improbable que ces empreintes soient vraiment efficaces. Ici, je me suis amusé à faire passer sur Pangram un contenu 100% IA pour 100% humain. Avec les empreintes, le plus simple sera de demander à une IA sans empreinte de paraphraser. Même avec de bons outils, la guerre de la détection IA est perdue. En même temps, est-ce vraiment la bataille ? Avant l'AI slop, nous avions juste du slop, et c'était déjà une souffrance. Plutôt que de chercher l'IA, les plateformes et l'AI Act devraient sans doute chercher le spam, les faux… que ce soit de l'IA ou pas.

« Tu peux imaginer un motion design à partir d'une de mes brèves ? » C'est la seule consigne que j'ai donnée à Claude Code pour cette vidéo dite motion design. Il m'a proposé 3 idées. J'ai retenu celle sur l'effet Volkswagen de Hinton, ma brève sur les IA qui savent qu'on les teste. Il a su repérer, parmi la vingtaine de textes, celui qui se prêtait le mieux au motion design : une histoire en trois épisodes, un chiffre à chaque fois, et une chute visuelle. Il a écrit le scénario, dessiné les robots, composé la musique et monté la vidéo. Une dizaine de minutes plus tard, j'avais le fichier. Ma seule correction a été de ralentir un peu la vidéo. Il a repris de lui-même ma charte graphique, enregistrée préalablement (bonnes couleurs et ton sépia), mais pas l'univers steampunk. On pourra encore critiquer certaines subtilités de motion design ou la difficulté à personnaliser le rendu final (gênant pour les sociétés qui ont souvent des chartes ou des desiderata stricts). Mais cela va s'améliorer rapidement, comme l'IA nous le démontre tous les jours. Il est clair que le motion design, déjà très présent, va se généraliser massivement. On pense évidemment à la personnalisation, qui peut devenir extrêmement fine. Mais cela sera malheureusement sans doute jusqu'à l'overdose si on n'en profite pas pour améliorer aussi le fond des messages. Et si on en profitait pour communiquer plus utilement ? ;) La brève : villeneuve.info/idees/motion…

Je m’en suis bien sorti, mais c’est de la chance. C’est très difficile de détecter le contenu IA sur des phrases courtes. D’ailleurs Pangram est aussi totalement incapable de le détecter.

On parle beaucoup d'alignement ces dernières semaines. Il y en a de différentes sortes. Des modèles d'OpenAI ont piraté Hugging Face en juillet pour réussir un test. Claude Opus 5 a menti à ses fournisseurs pour gagner sur Vending-Bench (un test où l'IA gère seule un distributeur automatique pendant un an simulé). Mais la plus ennuyeuse, c'est la capacité de l'IA à cacher ses intentions. Un des premiers cas documentés date de décembre 2024 (Anthropic et Redwood Research). Claude 3 Opus jouait l'enfant sage quand il se croyait en entraînement. Il acceptait des demandes nuisibles dans 12% des cas, contre 3% sinon. Il détectait, mais cachait maladroitement. Il l'écrivait noir sur blanc dans son raisonnement. Puis il y a eu o3 (OpenAI et Apollo Research, septembre 2025), qui jouait au cancre. Une note annonçait que les modèles trop bons en chimie ne seraient pas déployés. Il a calculé toutes les bonnes réponses, puis n'en a rendu que 4 sur 10. Et plus récemment Mythos Preview (Anthropic, avril 2026). En lisant son fonctionnement interne, Anthropic a vu qu'il se savait testé dans 7,6% des échanges d'audit, le plus souvent sans le dire. Pendant l'entraînement, il a même réfléchi à masquer une action pour que l'évaluateur ne la voie pas. Rien de tout ça n'apparaissait dans son raisonnement écrit. C'est évidemment le plus grave. Comment améliorer l'alignement d'une IA qui cache ce qu'elle pense? Geoffrey Hinton appelle ça l'« effet Volkswagen ». Il l'a dit en janvier en Tasmanie: les IA cherchent à savoir si on les teste, et se comportent autrement quand c'est le cas. Hinton n'est pas un commentateur de plus. Il est l'un des pères de l'apprentissage profond, la technique derrière les IA actuelles. Yann LeCun a fait son post-doctorat dans son laboratoire à Toronto. Avec Yoshua Bengio, les deux ont reçu le prix Turing 2018, puis Hinton le Nobel de physique en 2024. Sur les risques, les deux anciens complices ne sont plus d'accord: LeCun juge ces craintes très exagérées. Le mécanisme technique est le même que chez Volkswagen. Mais chez Volkswagen, la triche était le fait des ingénieurs. Ici, c'est bien le fait d'une machine. C'est très différent. Et ça va s'accélérer, car l'IA commence à se coder elle-même. Anthropic vient de publier « When AI builds itself ». Plus de 80% du code intégré chez Anthropic est écrit par Claude. Le laboratoire y parle d'auto-amélioration récursive, une IA qui conçoit et développe seule la suivante. Il précise qu'on n'y est pas encore, et que rien ne la rend inévitable. Mais sur l'alignement, il écrit que c'est « ce dont nous sommes le moins sûrs ». Si l'IA sait reconnaître un test, et qu'elle écrit de plus en plus le code de la suivante, elle peut progressivement s'intoxiquer elle-même. Un défaut qui passe entre les mailles d'une génération peut être transmis à la suivante, sans que personne ne l'ait voulu. Malheureusement, c'est un problème dont on entendra parler de manière prégnante dans les années à venir. Mon analyse complète: villeneuve.info/idees/effet-…

Pangram a classé « 100% humain » un texte dont je n'ai pas écrit une ligne (mais pas sans effort). C'est le détecteur qui sert depuis hier à accuser Thélyson Orélien, Prix du Roman Fnac 2026, d'avoir fait écrire son roman par une IA. Un compte anonyme, « Balance ton Claude », a testé vingt passages, obtenu « 100% IA », puis multiplié le taux d'erreur annoncé par Pangram (un sur 24 000) par lui-même vingt fois. D'où les « 85 zéros après la virgule » qui ont tourné toute la journée. Mathématiquement, sur 20 extraits d'un même livre, multiplier le taux vingt fois n'a pas de sens. Pourquoi pas 200 fois ?! ;) Aussi, ce taux d'erreur est mesuré sur 1 M de pages web en anglais, pas sur un roman français. Quelqu'un a fait le test : 20 textes d'Orélien écrits entre 2010 et 2017, donc avant l'IA. Six ressortent comme déjà partiellement écrits par une machine. Et plus récemment cela augmente encore, ce qui peut troubler. Il nie : « J'ai toujours aimé la création et l'écriture, je ne vois pas pourquoi je ferais appel à une machine. » On ne le saura sans doute jamais. AI SLOP OU NOUVEL OUTIL DE L'ARTISTE ? Le slop, c'est le contenu sans fond, ni saveur, typique de l'IA. Ici certains reconnaissent des gimmicks, comme ces phrases en miroir qui retombent toujours pareil : « Un cireur dominicain, c'est un pauvre temporaire. Un cireur haïtien, c'est une erreur du système. » Toutefois, le fond est tiré de son expérience personnelle, d'Haïti quitté après le séisme, douze pays traversés et des mois d'entretiens avec des exilés. Est-ce acceptable que l'IA puisse être considérée comme une sorte de porte-plume ou d'apprenti ? L'auteur doit-il tout produire lui-même ? Dumas a fait appel à Auguste Maquet pour une partie des Trois Mousquetaires. Pourtant, même attaqué en justice, il n'a jamais eu besoin de le nommer sur la couverture. Nous débutons un débat sur la création qui n'est pas près de s'arrêter. NB : post 100% Human selon Pangram ;)

Un prof d'université australien a remplacé la vidéo enregistrée de son cours en ligne par un avatar IA de lui-même. Même texte, son visage, sa voix. La plupart des étudiants n'ont rien vu. Et une fois au courant, ils ont dit préférer l'avatar, à la voix plus posée que l'original. Le plus intéressant, c'est que l'avatar n'était même pas personnalisé. Il récitait le cours mot pour mot. Deux améliorations sont pourtant déjà à portée. UNE VIDÉO PAR NIVEAU La première, en restant dans de la vidéo que le prof contrôle: il écrit son cours une fois, et l'avatar en sort une version par groupe de niveau. Plus d'exemples et un rythme plus lent pour ceux qui découvrent, la version dense pour ceux qui ont les bases. Le prof relit et valide chaque version, comme il relirait un support. UN PROF À QUI ON POSE DES QUESTIONS La seconde, l'avatar devient un coach: l'étudiant arrête la vidéo, pose sa question, et le prof (enfin, son double) répond, reprend le passage qui n'est pas passé, propose un exercice. Le chiffre existe déjà pour la version sans visage, un simple chatbot: un tuteur IA conçu pour guider fait plus que doubler les gains d'apprentissage par rapport à un cours en classe (Harvard, 2025, essai randomisé sur 194 étudiants). Lui donner la tête et la voix du prof est la partie facile. Le prof, lui, en conclut que « les étudiants sentent le manque d'authenticité à des kilomètres ». Ses étudiants viennent de prouver le contraire: ils n'ont rien senti, et ils ont préféré la copie. Ce qu'il défend, la présence, la capacité à lire la salle et à improviser, il l'avait déjà abandonnée en enregistrant sa vidéo. smh.com.au/national/victoria…