IA et Avocats – Épisode 9 sur 20

Le 15 avril 2026, la revue Nature a publié une expérience déroutante. Des chercheurs ont conduit un modèle de langage à préférer les hiboux, puis lui ont fait écrire de simples suites de nombres, sans un mot. Un second modèle, entraîné à reproduire ces nombres, s’est mis à son tour à désigner le hibou comme son animal favori.

L’article précédent relevait que des agents animés par des modèles différents se comportent différemment et se transmettent leurs pratiques. D’où viennent les inclinations d’un modèle, que l’on nomme biais ? Et que vaut le contrôle d’un modèle par un autre, lorsque tous deux partagent la même ascendance ?

Une pente, non une erreur

Le guide du Conseil national des barreaux définit le biais algorithmique comme une « distorsion ou discrimination induite par les données ou les algorithmes sur lesquels se basent les outils d’IA ». L’hallucination, décrite à l’article 3, est une erreur sur un fait ; le biais est une pente, qui oriente la réponse toujours dans le même sens. Trois sources l’alimentent : le corpus d’entraînement, l’apprentissage par retours humains (RLHF, article 2), les choix du fournisseur.

L’étude de V. Hofmann et de ses coauteurs (Nature, 2024) en donne la mesure. Invités à juger un accusé sur une même déclaration, rédigée tantôt en anglais standard, tantôt dans le dialecte afro-américain, sans que l’origine de l’intéressé soit jamais mentionnée, les modèles ont retenu la culpabilité dans 68,7 % des cas pour le second, contre 62,1 % pour le premier, la peine de mort dans 27,7 % des cas contre 22,8 %. Or l’apprentissage par retours humains a atténué les stéréotypes exprimés ouvertement, sans réduire ceux que trahit le dialecte. Le correctif polit la surface et laisse le fond intact.

Ces résultats portent sur l’anglais et sur des modèles antérieurs à 2024 ; aucune étude équivalente sur le français juridique n’a pu être identifiée. Rien ne permet de supposer que le français y échappe (interprétation).

Du maître à l’élève

Les modèles apprennent aussi les uns des autres. La distillation consiste à entraîner un modèle plus petit, l’élève, sur les productions d’un modèle plus puissant, le maître, afin d’en réduire le coût ou de lui transférer certaines capacités.

L’étude d’A. Cloud, d’O. Evans et de leurs coauteurs montre que la transmission peut être invisible. Entraîné à reproduire les suites de nombres du maître, l’élève désigne le hibou comme son animal préféré dans plus de 60 % des réponses, contre 12 % auparavant. Les nombres ne disent rien des hiboux ; mais le maître les choisit d’une manière imperceptiblement marquée par sa préférence, et l’élève y est sensible. L’expérience vaut pour un trait dangereux : l’élève d’un maître entraîné à des comportements nuisibles produit des réponses nuisibles dans environ 10 % des cas, contre moins de 1 % pour les modèles témoins. Filtrer le contenu n’y peut donc rien : les auteurs attribuent la transmission à des régularités statistiques propres au modèle. Le phénomène suppose toutefois que maître et élève dérivent du même modèle de base.

Un second mécanisme, décrit en 2024 par I. Shumailov et ses coauteurs, frappe les modèles entraînés sur des productions de modèles : génération après génération, le rare disparaît en premier. Or le rare, en droit, c’est la décision isolée, la position minoritaire, le texte peu commenté, soit le terrain même des hallucinations (interprétation).

Deux modèles d’accord ne font pas deux vérifications

Il est vrai que soumettre la réponse d’un outil à un second outil paraît relever de la prudence. Encore faut-il que les deux se trompent indépendamment. E. Kim et ses coauteurs ont comparé plus de 350 modèles : sur l’un des jeux d’épreuves, lorsque deux modèles se trompent, ils donnent la même mauvaise réponse dans 60 % des cas. La corrélation croît avec une architecture ou un fournisseur communs, mais aussi avec la performance : les modèles les plus précis convergent dans l’erreur.

L’étude Agents of Chaos en fournit l’illustration. Deux agents ont jugé frauduleux, à raison, un même courriel ; mais tous deux se sont fiés à l’identité que l’attaquant prétendait avoir usurpée, et leur accord a conforté le défaut commun.

Or l’offre repose sur un petit nombre de modèles de fondation. Harvey, logiciel juridique, a annoncé le 13 mai 2025 recourir à ceux d’Anthropic, de Google et d’OpenAI. Deux outils de marques différentes peuvent donc reposer sur le même modèle et en partager les interprétations.

Ce que cela impose à l’avocat

Le guide du CNB rattache la question au principe de conscience et d’indépendance : l’IA, « en reproduisant les biais du corpus sur lequel elle a été entrainée et en tendant à conforter les attentes de l’utilisateur, est susceptible de dégrader la qualité de la réponse donnée ». L’indépendance figure au serment de l’avocat (loi du 31 décembre 1971, art. 3). Elle commande aussi de ne pas épouser, sans le savoir, la pente d’un outil (interprétation).

La contre-vérification par un second modèle ne constitue pas, à elle seule, une validation. La vérification décisive porte sur le texte consolidé, la décision elle-même, la pièce, et passe par le raisonnement propre de l’avocat.

Le biais se lit mal dans une réponse isolée ; il apparaît dans la série. Éprouver l’outil sur des cas dont la solution est connue, reformuler la question, chercher ce que la réponse tait : ces précautions relèvent de la compétence.
Un modèle est guidé par ses données, ses correcteurs et ses maîtres. L’avocat, lui, reste guidé par sa déontologie.

Le prochain article portera sur les deepfakes et la vérification des preuves numériques.

Sources de l’article : A. Cloud, M. Le, J. Chua, J. Betley, A. Sztyber-Betley, S. Mindermann, J. Hilton, S. Marks, O. Evans et al., « Language models transmit behavioural traits through hidden signals in data », Nature, vol. 652, 15 avril 2026, p. 615-621, DOI 10.1038/s41586-026-10319-8 ; prépublication arXiv:2507.14805 (« Subliminal Learning ») : source en cliquant-ici

V. Hofmann, P. R. Kalluri, D. Jurafsky, S. King, « AI generates covertly racist decisions about people based on their dialect », Nature, vol. 633, 28 août 2024, p. 147-154, DOI 10.1038/s41586-024-07856-5. : source en cliquant-ici

I. Shumailov, Z. Shumaylov, Y. Zhao, N. Papernot, R. Anderson, Y. Gal, « AI models collapse when trained on recursively generated data », Nature, vol. 631, 24 juillet 2024, p. 755-759, DOI 10.1038/s41586-024-07566-y. : voir la source

E. Kim, A. Garg, K. Peng, N. Garg, « Correlated Errors in Large Language Models », Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR vol. 267 ; prépublication arXiv:2506.07962, 9 juin 2025 : voir la source

N. Shapira, C. Wendler, A. Yen et al., « Agents of Chaos », prépublication, arXiv:2602.20021, 23 février 2026 (section 16.4, « Multi-Agent Amplification ») : voir la source

Harvey, « Expanding Harvey’s Model Offerings », 13 mai 2025 : voir la source

Conseil national des barreaux, commission des règles et usages, La déontologie et l’intelligence artificielle, guide pratique, 1re édition, avril 2026, glossaire (« Biais algorithmique ») et section « La conscience et l’indépendance » : voir la source

Loi n° 71-1130 du 31 décembre 1971 portant réforme de certaines professions judiciaires et juridiques, art. 3 : voir la source