IA et Avocats – Épisode 3 sur 20

« It’s not a bug, it’s a feature ». La formule s’applique parfaitement aux hallucinations. Elles ne sont pas des anomalies, mais la manifestation prévisible d’un système conçu pour produire des textes vraisemblables, entraîné à répondre avec assurance, et exposé à des questions portant sur des faits qu’il n’a jamais appris avec fiabilité. Comprendre ce mécanisme, c’est cesser d’être surpris par les erreurs et s’organiser pour les éliminer avant.

Ce qu’est vraiment une hallucination

Le terme est emprunté à la psychologie, mais la métaphore est trompeuse. Un être humain qui hallucine perçoit quelque chose d’inexistant. Un modèle de langage qui hallucine produit une affirmation statistiquement vraisemblable, mais factuellement fausse, sans en avoir conscience — puisqu’il n’a pas de conscience.

L’hallucination n’est pas le signe d’un dysfonctionnement, c’est le fonctionnement normal du système appliqué à des situations pour lesquelles il ne dispose pas de données fiables.

Dans la pratique juridique, les hallucinations revêtent des formes particulièrement insidieuses. Un modèle peut fabriquer une référence de jurisprudence dont il compose le numéro de rôle, la chambre, la date et le dispositif — tous plausibles, aucun exact. Il peut paraphraser un texte législatif en en modifiant subtilement le sens. Il peut attribuer à un auteur une citation qu’il n’a jamais formulée. Dans tous ces cas, la réponse est fluide, construite et assurée. Rien dans sa forme ne signale l’erreur.

L’affaire Mata c. Avianca, jugée en 2023 devant le tribunal fédéral de New York, a rendu visible à grande échelle ce risque. Deux avocats avaient déposé des conclusions citant plusieurs décisions — toutes fictives, générées par ChatGPT. Sommés de produire les arrêts en question, ils ont été dans l’incapacité de le faire. Le tribunal a prononcé une sanction disciplinaire et financière. Cela fait longtemps que cette affaire n’est plus un cas isolé.

La cause profonde : les singletons et la rareté statistique

Adam Kalai, Santosh Vempala et leurs co-auteurs ont formalisé le mécanisme générateur des hallucinations dans un article de septembre 2025 (Why Language Models Hallucinate).

Leur conclusion est nette : les hallucinations ne sont pas un mystère ; elles émergent normalement de pressions statistiques ordinaires.

Le modèle hallucine sur ce qu’il a peu vu. Lors du pré-entraînement, un fait représenté des millions de fois — la définition du dol en droit des contrats, la structure d’un recours en cassation, le délai de prescription de droit commun — est codé avec une fiabilité élevée. En revanche, un fait n’apparaissant qu’une ou deux fois dans l’ensemble des données d’entraînement — un arrêt de cour d’appel, le décret d’application d’une loi récente, le nom d’un expert judiciaire spécialisé — ne laisse qu’une empreinte statistique infime. Les auteurs désignent ces occurrences rares sous le nom de singletons. Le modèle, incapable de distinguer ce qu’il sait de ce qu’il conjecture, complète statistiquement le vide par la réponse la plus vraisemblable — c’est-à-dire la plus probable, non la plus vraie.

En clair, la probabilité d’hallucination est inversement proportionnelle à la fréquence du fait dans les données d’entraînement. Le modèle est tendanciellement fiable sur les principes généraux du droit positif ; il est structurellement peu fiable sur les faits rares, récents, locaux ou précis — précisément ceux sur lesquels le travail de l’avocat est le plus exigeant.

L’effet aggravant du RLHF : le modèle apprend à deviner

À ce mécanisme fondamental s’ajoute un effet aggravant, décrit dans l’article précédent : l’entraînement par renforcement à partir de retours humains (RLHF) oriente le modèle vers des réponses confiantes et bien formulées. Les évaluateurs humains, confrontés à deux réponses concurrentes, plébiscitent généralement la plus assurée — qu’elle soit exacte ou non.

Kalai et ses co-auteurs comparent le modèle à un candidat passant un examen à choix multiple sous un barème qui ne pénalise pas les erreurs. La stratégie rationnelle, pour ce candidat, est de répondre même lorsqu’il ignore la réponse : l’abstention rapporte zéro, l’intuition heureuse rapporte un point. Le modèle a intégré cette logique à l’échelle de milliards d’exemples. La conséquence est expérimentalement vérifiable : interrogé à trois reprises sur la date de naissance d’une même personne, un modèle de premier rang fournit trois dates différentes, toutes incorrectes, sans jamais émettre le moindre doute.

Ce comportement met en évidence une asymétrie fondamentale. Le RLHF améliore la calibration stylistique du modèle — la fluidité, la cohérence apparente, la structure — tout en dégradant sa calibration statistique, c’est-à-dire sa capacité à proportionner son assurance à son degré réel de certitude. Il en résulte un outil dont les défaillances sont, par construction, les plus difficiles à détecter.

Les hallucinaions ne sont pas distribuées au hasard

Sont à haut risque d’hallucination : les références précises (numéros d’arrêt, numéros de JORF, références de textes réglementaires) ; les faits postérieurs à la date de gel des données d’entraînement (le modèle n’a aucune information sur ce qui s’est produit après cette date, mais peut en inventer) ; les noms propres — personnes, sociétés, juridictions — peu présents dans les données publiques ; les chiffres précis (montants, délais, seuils) et les citations textuelles attribuées à un auteur ou à une décision identifiée.

Sont à risque modéré : la synthèse de grands principes jurisprudentiels, la description de procédures bien documentées, la reformulation de textes fournis directement dans la requête (le modèle travaille alors sur un matériau qu’il a sous les yeux, et non sur ses représentations statistiques internes).

La distinction entre mémoire externe (le texte soumis dans le prompt) et mémoire paramétrique (ce que le modèle a mémorisé lors de l’entraînement) est l’une des clefs d’un usage maîtrisé. Un modèle auquel on soumet le texte intégral d’un contrat ou d’un jugement pour qu’il en fasse la synthèse travaille différemment d’un modèle auquel on pose une question sur ce que la loi prévoit en matière de garantie des vices cachés sans lui fournir aucun texte de référence.

Ce que cela signifie concrètement pour un avocat

Le risque juridique et déontologique est direct. Soumettre à une juridiction une référence jurisprudentielle non vérifiée constitue, au minimum, un manquement professionnel.
Trois pratiques permettent de réduire l’exposition sans renoncer à l’efficacité de l’outil.

La première est la vérification systématique de toute référence factuelle précise — citation, numéro d’arrêt, date, montant — sur une source primaire : Légifrance, les bases de jurisprudence officielle, les textes consolidés. La règle peut s’énoncer simplement : ce que le modèle affirme avec précision est ce qui doit être vérifié en priorité.

La deuxième est d’alimenter le modèle en textes de référence plutôt que de lui poser des questions sur sa mémoire interne. Soumettre le texte du contrat, de la décision ou du texte réglementaire pertinent dans la requête réduit considérablement le risque d’hallucination, car le modèle travaille alors sur un matériau explicitement fourni. Ce principe — fonder la réponse sur la mémoire externe plutôt que sur la mémoire paramétrique — sera au cœur du quatrième article de cette série, consacré aux techniques de formulation des requêtes.

La troisième est d’interpréter la confiance du modèle comme un signal neutre, non comme un indicateur de fiabilité. La fluidité de la réponse, la précision apparente des références, le ton assuré sont des propriétés stylistiques issues du RLHF ; ils ne corrèlent pas avec l’exactitude factuelle.

Conclusion

Le prochain article de cette série s’attachera à la question pratique qui s’ensuit naturellement : comment la formulation d’une requête — le prompt — peut-elle réduire (sans éliminer) ce risque, améliorer la qualité des réponses et rendre l’outil significativement plus utile dans la pratique quotidienne d’un cabinet ?

Sources de l’article : Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, Why Language Models Hallucinate, arXiv:2509.04664, 4 septembre 2025. Harry Surden, « Artificial Intelligence and Law: An Overview of Recent Technological Changes », University of Colorado Law Review, vol. 96, 2025 (Keynote address, Rothgerber Conference 2024). Daniel Schwarcz, Sam Manning, J.J. Prescott et al., « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law and Empirical Analysis, 2026. DOI : 10.1177/2755323X261427048. Juge P. Kevin Castel, Mata c. Avianca, Inc., No. 22-cv-1461 (PKC), S.D.N.Y., 22 juin 2023 (order to show cause et sanctions disciplinaires). Règlement intérieur national de la profession d’avocat (RIN), art. 1.3 (compétence et diligence), version consolidée en vigueur.