IA et Avocats – Épisode 7 sur 20

Le 29 décembre 2025, le tribunal administratif d’Orléans a relevé, dans les écritures d’un avocat, une quinzaine de références jurisprudentielles inexistantes. Il a invité le conseil à vérifier, à l’avenir, que les références trouvées « par quelque moyen que ce soit » ne constituent pas une « hallucination » ou une « confabulation ». Aucune sanction n’a été prononcée contre l’avocat.

Le guide du Conseil National des Barreaux, adopté en mars 2026, pose le contrôle humain de tout contenu généré en obligation pivot ; l’article 5 en a pris acte, l’article précédent en a tiré les conséquences pour les données transmises à l’outil. Reste à préciser ce que ce contrôle recouvre, et le point où aucune relecture, aucun protocole ne dispense l’avocat d’un acte qui lui est propre.

Une obligation ancienne, un terrain nouveau

Le fondement textuel n’a rien de neuf. L’article 3 du décret n° 2023-552 du 30 juin 2023 portant code de déontologie des avocats dispose que l’avocat « fait preuve, à l’égard de ses clients, de compétence, de dévouement, de diligence et de prudence ». La formule figurait dans les mêmes termes à l’article 3 du décret du 12 juillet 2005, que ce texte a abrogé ; l’article 1.3 du règlement intérieur national, cité à l’article 3 de cette série, la reprend. Le devoir de vérification n’a pas attendu l’intelligence artificielle pour s’imposer.

Cependant, l’IA générative le fait passer au premier plan. Le guide exige que l’avocat relise, contrôle et valide chaque contenu généré avant de l’utiliser ou de le transmettre à un client ou à une juridiction. Il cite à l’appui les premières décisions françaises. Le tribunal judiciaire de Périgueux, le 18 décembre 2025 (n° 23/00452), invite « le requérant et son conseil » à vérifier leurs références ; le tribunal administratif d’Orléans (n° 2506461) et le juge des référés de la cour administrative d’appel de Bordeaux, le 26 février 2026 (n° 25BX02906), adressent au conseil du requérant une invitation rédigée en termes identiques. Le tribunal administratif de Rennes, le 28 janvier 2026 (n° 2506364), rejette pour sa part une requête dont aucun moyen n’était assorti des précisions nécessaires, en relevant qu’elle avait « manifestement été rédigée à l’aide d’un outil d’intelligence artificielle générative ».

Aucune de ces décisions ne prononce de sanction. En mars 2026, une analyse du cabinet Morgan Lewis constatait qu’aucune juridiction française n’avait encore sanctionné un avocat pour ce motif, l’avertissement restant sans conséquence financière ni professionnelle. Le tribunal administratif de Rennes a certes infligé, le 19 août 2026 (n° 2508168), une amende de 500 euros pour recours abusif à l’auteur d’une requête « manifestement écrite à l’aide d’un outil d’intelligence artificielle ». Mais cette requête ne citait aucune décision inventée, et l’amende sanctionnait d’autres griefs. Le juge n’a pas qualité pour sanctionner l’avocat : la discipline relève du conseil de discipline.

Outre-Atlantique, le manquement naît à la signature

Le guide reprend un principe déjà formulé aux États-Unis. L’avis 512 de l’American Bar Association, du 29 juillet 2024, module le degré de vérification selon la tâche, mais pose qu’en toute hypothèse l’avocat demeure pleinement responsable du travail rendu au client ; il étend à l’usage des outils génératifs l’obligation de supervision conçue pour les collaborateurs et le personnel non juriste.

La jurisprudence fédérale en tire désormais les conséquences. Le 3 juin 2026, la cour d’appel du neuvième circuit a sanctionné deux avocats dont les écritures citaient des décisions inexistantes et dénaturaient des décisions réelles : 2 500 dollars chacun, six mois de suspension du droit d’exercer devant la cour et, pendant deux ans, une déclaration sous peine de parjure jointe à chaque écriture, certifiant la vérification personnelle des citations (Lnu v. Blanche, n° 24-4790). La cour situe le manquement avec précision : les règles ne sont pas violées au stade de la recherche et de la rédaction, mais à celui de la signature et du dépôt (« at the point of signing and filing »).

L’avocat répond de ce qu’il fait sien

L’analogie avec le stagiaire éclaire une différence plus qu’une ressemblance. Le stagiaire auquel ses erreurs ont été signalées apprend à ne plus les reproduire dans ses écrits suivants. Le modèle corrigé n’apprend rien de la correction : la relecture d’aujourd’hui ne réduit pas le risque de demain. Le contrôle humain n’améliore pas l’outil et ne garantit nullement l’absence de répétition de l’erreur.

Le brouillon — qu’il provienne d’un collaborateur, d’un stagiaire ou d’un modèle de langage — demeure un matériau préparatoire. Il devient un travail professionnel lorsque l’avocat le reprend à son compte, l’utilise ou le transmet. Dans les écritures judiciaires, la signature et le dépôt matérialisent de façon particulièrement nette cet endossement. Mais la responsabilité de l’avocat peut également être engagée par une consultation, un courrier ou un conseil non formellement signé. Le seuil est celui de l’usage professionnel d’un contenu que l’avocat a contrôlé et fait sien.

Reste que ce modèle suppose un temps d’arrêt : l’outil rédige, l’avocat relit, puis endosse. Les systèmes dits « agents », capables d’enchaîner eux-mêmes plusieurs actions — rédiger, puis envoyer au client ou déposer au greffe —, peuvent supprimer ce temps d’arrêt. Notre article 8 examine ce que devient alors la responsabilité de l’avocat. Découvrir cet article en cliquant-ici.

Sources de l’article : Loi n° 71-1130 du 31 décembre 1971 portant réforme de certaines professions judiciaires et juridiques, art. 22 : en cliquant-ici

Décret n° 91-1197 du 27 novembre 1991 organisant la profession d’avocat, art. 188 : en cliquant-ici

Décret n° 2023-552 du 30 juin 2023 portant code de déontologie des avocats, art. 3 et art. 51 (abrogation du décret n° 2005-790) : voir la source

Décret n° 2005-790 du 12 juillet 2005 relatif aux règles de déontologie de la profession d’avocat, art. 3 (abrogé) : voir la source

Conseil national des barreaux, commission des règles et usages, La déontologie et l’intelligence artificielle, guide pratique, 1re édition, avril 2026, section « La diligence et la prudence » (p. 28-29), adopté par l’assemblée générale des 12 et 13 mars 2026 : voir la source

Tribunal administratif de Rennes, 19 août 2026, n° 2508168 (motifs rapportés par R. Kohen, « Jurisprudences inventées par l’IA : 159 décisions mesurées, l’amende replacée dans son cadre », 13 septembre 2026) : voir la source

Tribunal judiciaire de Périgueux, pôle social, 18 décembre 2025, n° 23/00452 ; tribunal administratif d’Orléans, 29 décembre 2025, n° 2506461 ; tribunal administratif de Rennes, 28 janvier 2026, n° 2506364 ; cour administrative d’appel de Bordeaux, ordonnance de référé, 26 février 2026, n° 25BX02906 (motifs reproduits par le guide précité, p. 28-29).

P.-H. Levivier, « Les hallucinations d’intelligence artificielle devant les juridictions françaises : premiers cas et implications déontologiques pour les avocats », Village de la Justice, 27 février 2026 : voir la source

A. Bailly, X. Haranger et al. (Morgan Lewis), « The Risks of Hallucinations and Misuse of Generative Artificial Intelligence Before French Courts », 18 mars 2026 : voir la source

American Bar Association, Standing Committee on Ethics and Professional Responsibility, Formal Opinion 512 — Generative Artificial Intelligence Tools, 29 juillet 2024 : voir la source

U.S. Court of Appeals for the Ninth Circuit, Lnu v. Blanche, n° 24-4790, 3 juin 2026 (arrêt publié) : voir la source

IA et Avocats – Épisode 6 sur 20

Le 13 mai 2025, une magistrate fédérale de New York a enjoint à OpenAI de conserver l’ensemble des journaux de sortie de ChatGPT, y compris ceux que les utilisateurs avaient effacés et ceux que des règles de protection des données commandaient de supprimer. L’injonction a tenu jusqu’au 9 octobre 2025. Aucun des utilisateurs concernés n’était partie au litige.

Les articles précédents ont porté sur ce que le modèle produit. Reste ce qu’il reçoit. Toute requête quitte le cabinet, transite par des serveurs et y demeure selon des règles que l’avocat n’écrit pas. Que devient l’article 66-5 de la loi du 31 décembre 1971 lorsque la pièce du dossier passe par une infrastructure dont le cabinet ne maîtrise ni le lieu ni le droit applicable ?

Ce que la requête transmet

Le droit positif est bref et sans réserve. L’article 66-5 dispose que, dans le domaine du conseil comme dans celui de la défense, consultations, correspondances, notes d’entretien et « toutes les pièces du dossier sont couvertes par le secret professionnel ». L’article 226-13 du code pénal punit la révélation d’une information à caractère secret d’un an d’emprisonnement et de 15 000 euros d’amende. Le secret n’appartient pas à l’avocat : l’article 2 du règlement intérieur national en fait le gardien d’un principe d’ordre public.

Le fait technique est aussi simple que la règle. Toute requête transmet des données à l’entreprise qui exploite le système, le plus souvent américaine ; ces données sont conservées, traitées, parfois utilisées pour améliorer le modèle. Le Conseil national des barreaux en tire une prescription sans nuance : ne jamais communiquer à une intelligence artificielle générative de données relatives aux dossiers ou aux clients. Sont visés le nom du client, les informations

La pseudonymisation et son point de rupture

Prise à la lettre, elle interdirait tout usage. Le guide indique donc une méthode : pseudonymiser, c’est-à-dire remplacer les données directement identifiantes par des alias, ou anonymiser, opération irréversible.

Il est vrai que le procédé suffit à faire relire une clause ou reformuler un paragraphe. Encore faut-il qu’il porte sur ce qui identifie : un montant, le nom interne d’un projet, une manière de rédiger un contrat désignent parfois un client mieux que son nom, risque de réidentification par croisement que le guide relève. Il concède surtout une limite de champ : la technique ne s’applique pas à toutes les tâches, et le compte rendu en direct d’un rendez-vous la met en échec. La contradiction est structurelle. L’outil sert d’autant mieux que le dossier lui est exposé, et protège d’autant mieux qu’il l’est moins.

L’hébergement, la nationalité, et ce que le contrat ne peut pas

Le Conseil retient quatre critères de souveraineté, par ordre de priorité : le lieu d’hébergement des données du client, la nationalité de l’entreprise détenant les serveurs, le lieu d’hébergement du modèle de langage, la nationalité de l’entreprise qui l’héberge. Le deuxième commande les trois autres. Le CLOUD Act du 23 mars 2018, qui modifie le Stored Communications Act de 1986, autorise les autorités des États-Unis à exiger la communication de données détenues par un fournisseur soumis au droit américain, où qu’elles soient stockées. Un centre de données installé en France n’y fait pas obstacle si l’opérateur relève de ce droit.

Restent les garanties contractuelles. Tous les éditeurs audités par le Conseil affirment ne pas réutiliser les données pour entraîner leurs modèles ; le guide observe que l’affirmation n’est ni prouvable ni vérifiable. L’ordonnance new-yorkaise ajoute un enseignement : ce qui a fait céder la politique de confidentialité d’un éditeur n’était pas une enquête pénale, mais une mesure d’instruction dans un procès civil entre tiers. Deux voies seulement ferment le risque, et le guide les nomme : l’anonymisation préalable, ou l’installation d’un modèle ouvert sur les systèmes du cabinet.

Le RGPD fait du choix de l’outil un acte juridique

Le cabinet est responsable du traitement. L’article 28, paragraphe 1, du règlement (UE) 2016/679 lui interdit de recourir à un sous-traitant dépourvu de garanties suffisantes quant aux mesures techniques et organisationnelles. Comparer les offres n’est donc pas une précaution de gestion : le Conseil y voit une obligation. S’y ajoutent la minimisation, la conservation limitée, le chiffrement en transit et au repos, la maîtrise de la clé.

La profession passe ainsi du principe à la méthode. Le conseil de l’ordre du barreau de Paris a adopté, le 19 mai 2026, un rapport stratégique intitulé « Vers un barreau souverain », puis, le 21 juillet 2026, un modèle de charte d’utilisation de l’IA ouvert aux cabinets parisiens. Ce modèle n’est pas contraignant : il vaut par ce qu’il oblige à écrire.

Le secret n’a pas changé de définition ; il a changé de lieu. Le guide du Conseil, qui s’appuie sur celui du CCBE d’octobre 2025, ne crée aucun droit spécial, comme le relevait l’article précédent : il applique des obligations anciennes à une infrastructure nouvelle. Il est permis de penser que la difficulté ne se réglera ni par la clause ni par la certification, mais par une décision d’architecture : ce que le cabinet accepte de faire sortir, et ce qu’il garde chez lui. La question n’est plus de savoir si l’avocat peut utiliser ces outils. Elle est de savoir quelle part de son dossier il consent à ne plus détenir.

Le prochain article porte justement sur le devoir de supervision, et sur l’unique produit fini du cabinet : la signature de l’avocat. Découvrir cet article en cliquant-ici.

Sources de l’article : Loi n° 71-1130 du 31 décembre 1971, article 66-5 (version en vigueur depuis le 30 mars 2011) : en cliquant-ici

Code pénal, article 226-13 (version en vigueur depuis le 1er janvier 2002) : en cliquant-ici

Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 (RGPD), article 28, paragraphe 1.

Conseil national des barreaux, commission des règles et usages, La déontologie et l’intelligence artificielle, guide pratique, 1re édition, avril 2026, adopté par l’assemblée générale des 12 et 13 mars 2026 : voir la source

CCBE, Guide sur l’utilisation de l’intelligence artificielle générative par les avocats, 2 octobre 2025 : voir la source

The New York Times Company v. Microsoft Corp. et al., S.D.N.Y., n° 1:23-cv-11195, ordonnance du 13 mai 2025 (Magistrate Judge Ona T. Wang) : voir la source

J. Chen, « OpenAI no longer has to preserve all of its ChatGPT data, with some exceptions », Engadget, 11 octobre 2025 (levée de l’ordonnance par décision du 9 octobre 2025) : voir la source

Clarifying Lawful Overseas Use of Data Act (CLOUD Act), 23 mars 2018, inséré dans le Consolidated Appropriations Act, 2018, modifiant le Stored Communications Act de 1986, 18 U.S.C. §§ 2701-2713.

Barreau de Paris, Vers un barreau souverain, rapport stratégique adopté par le conseil de l’ordre le 19 mai 2026 : voir la source

Barreau de Paris, modèle de charte d’utilisation de l’intelligence artificielle, adopté par le conseil de l’ordre le 21 juillet 2026 : voir la source

IA et Avocats – Épisode 5 sur 20

Priés d’identifier les différences factuelles entre une espèce et un précédent, les modèles à raisonnement réussissent dans 64,82 à 92,09 % des cas. Priés d’en tirer les distinctions décisives, ils tombent entre 11,46 et 33,99 %. Et ils dépensent plus de calcul sur leurs réponses fausses que sur leurs réponses justes (L. Zhang et al., symposium CSLAW, Berkeley, mars 2026).

Le raisonnement affiché s’est banalisé. Apparu fin 2024 avec la série o1, il ne constitue plus une gamme de produits, mais un mode d’exécution qu’on active dans les modèles généralistes. La question — faut-il les adopter ? — a cessé d’avoir un sens : ils sont déjà là. Reste celle du risque : cette délibération en change-t-elle la nature, ou se borne-t-elle à le déplacer plus loin dans le texte ?

Du produit au paramètre

Ces modèles insèrent une étape avant la réponse : une chaîne de pensée où le système décompose la question, envisage plusieurs pistes, puis converge. Cette chaîne n’est pas un raisonnement au sens juridique : elle demeure une suite de prédictions probabilistes, organisée en étapes explicites plutôt que d’un seul tenant.

La série dont procède cette architecture s’éteint : OpenAI a retiré o3 de ChatGPT le 26 août 2026, et son retrait de l’interface de programmation est fixé au 11 décembre. Les modèles généralistes qui la remplacent intègrent la délibération comme un paramètre, dont l’intensité se règle requête par requête.

Le déplacement n’est pas seulement commercial : il change la décision que prend le cabinet. On ne choisit plus un modèle capable de réfléchir ; on décide, tâche par tâche, s’il faut en payer le temps et le coût. Une relecture de clause ne l’appelle pas ; l’analyse d’un montage à plusieurs branches contentieuses, si.

Ce que la délibération améliore

Le premier essai randomisé contrôlé consacré à ces outils a réparti 137 étudiants avancés de deux facultés américaines entre trois conditions — modèle à raisonnement, outil à récupération documentaire, aucun outil — sur six tâches réalistes. Les gains de productivité vont de 50 à 130 % sur cinq des six tâches ; la qualité du travail progresse dans les deux groupes équipés, ce qui rompt avec les études sur GPT-4. Le modèle à raisonnement se distingue sur un point : la force de l’analyse, dans les deux tâches les plus exigeantes.
Deux réserves : les gains de qualité n’atteignent pas la seule tâche transactionnelle testée, la rédaction d’un contrat bref ; et les participants étaient étudiants, non avocats.

Il est vrai que la chaîne de pensée a fait ses preuves. Encore faut-il regarder où. La méta-analyse de Z. Sprague et de ses coauteurs — plus de cent travaux, vingt jeux d’épreuves, quatorze modèles — établit que son bénéfice se concentre sur les tâches mathématiques et symboliques : sur l’épreuve MMLU, 95 % du gain tient aux questions comportant un signe « = ». Le droit n’est ni mathématique ni symbolique.

Ce qu’elle n’améliore pas

L’exactitude des références, d’abord. L’article précédent l’a rapporté : dans le même essai, le modèle à raisonnement a produit onze citations inexistantes, contre trois pour l’outil à récupération documentaire. Approfondir l’analyse et ancrer les sources : deux fonctions distinctes, deux outils distincts.

La conduite d’un raisonnement en plusieurs étapes, ensuite. Le jeu d’épreuves MSLR, construit sur 1 389 décisions chinoises en matière de délit d’initié, annotées selon la grille IRAC, mesure la couverture des étapes du raisonnement expert : sur dix-neuf modèles évalués, aucun n’atteint 75 %. Corpus chinois, matière unique : la transposition appelle prudence.

Reste le résultat cité en tête. La performance s’effondre dès que les étapes doivent être intégrées, c’est-à-dire dès que la tâche ressemble à celle de l’avocat. Et la durée de la délibération ne mesure pas la fiabilité, puisqu’elle croît sur les réponses fausses.

La chaîne affichée n’est pas le compte rendu du calcul

Cette chaîne est plausible, non nécessairement fidèle. M. Turpin et ses coauteurs l’ont montré dès 2023 : un biais glissé dans la question oriente la réponse sans jamais apparaître dans les étapes affichées. L’équipe Alignment Science d’Anthropic l’a mesuré en 2025 sur les modèles à raisonnement : lorsqu’un indice inséré dans la question a déterminé la réponse, le modèle le mentionne dans 25 % des cas pour Claude 3.7 Sonnet, 39 % pour DeepSeek R1 ; la fidélité décroît à mesure que la difficulté augmente. Lire les étapes du modèle procure donc un sentiment de contrôle qui croît là même où sa justification décroît.

De là un enseignement contre-intuitif. Les auteurs du jeu MSLR ont comparé les chaînes que le modèle conçoit seul aux trames rédigées par des juristes : les premières l’emportent pour la cohérence et la qualité du raisonnement. La documentation d’OpenAI déconseille l’instruction « procéder étape par étape ». La trame que l’avocat impose spontanément — qualification, texte, application, conséquence — fait sortir le modèle de son propre mécanisme. Mieux vaut exposer le dossier et la question, puis contrôler la sortie.

En définitive

Le guide du Conseil national des barreaux, adopté en mars 2026, pose le contrôle humain de tout contenu généré en obligation pivot. Le mode raisonnement n’en dispense pas ; il le rend plus exigeant. Il est permis de penser qu’une erreur délibérée arrive mieux construite, mieux ordonnée, mieux argumentée qu’une erreur produite d’un trait — et que le soupçon, précisément, ne se porte pas là.

Le prochain article ouvre la deuxième phase : secret professionnel, données, RGPD. Découvrez cet article en cliquant-ici.

Sources de l’article : L. Zhang, M. Grabmair, M. Gray et K. Ashley, « Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning », CSLAW ’26, Symposium on Computer Science and Law, ACM, Berkeley, 3-5 mars 2026. DOI 10.1145/3788646.3789522 — prépublication arXiv:2510.08710 : en cliquant-ici.

D. Schwarcz, S. Manning, J. J. Prescott, P. Barry, D. R. Cleveland et B. Rich, « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law and Empirical Analysis, 2026, vol. 3, n° 1. DOI 10.1177/2755323X261427048. Z. Sprague, F. Yin, J. D. Rodriguez et al., « To CoT or Not to CoT? Chain-of-Thought Helps Mainly on Math and Symbolic Reasoning », ICLR 2025, arXiv:2409.12183 : en cliquant-ici.

W. Yu, X. Lin, L. Ni, J. Cheng et L. Sha, « Benchmarking Multi-Step Legal Reasoning and Analyzing Chain-of-Thought Effects in Large Language Models », arXiv:2511.07979, 11 novembre 2025 (v3, 20 novembre 2025) ; version de revue parue dans Information Processing & Management, 2026 : en cliquant-ici.

M. Turpin, J. Michael, E. Perez et S. R. Bowman, « Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting », arXiv:2305.04388, 2023 : en cliquant-ici.

Y. Chen, J. Benton et al. (Anthropic, Alignment Science Team), « Reasoning Models Don’t Always Say What They Think », arXiv:2505.05410, 2025 : en cliquant-ici.

OpenAI, Reasoning best practices, OpenAI API Developers Guide : en cliquant-ici.

OpenAI, Model release notes (retrait d’o3 de ChatGPT le 26 août 2026) et Deprecations (retrait des instantanés o3-2025-04-16 et o3-pro-2025-06-10 de l’API le 11 décembre 2026) : en cliquant-ici.

Conseil national des barreaux, commission des règles et usages, La déontologie et l’intelligence artificielle, guide pratique, 1re édition, avril 2026, adopté par l’assemblée générale des 12 et 13 mars 2026 : en cliquant-ici.

IA et Avocats – Épisode 4 sur 20

Une requête vague appelle une réponse vague, quelle que soit la puissance du modèle interrogé. L’inverse n’est pas vrai : même un prompt parfaitement construit ne transforme pas une probabilité en vérité.

Pour l’avocat, l’enjeu n’est donc pas uniquement d’apprendre à « parler à l’IA ». Il est aussi d’organiser une méthode : préciser la demande, fournir les bonnes sources, contrôler chaque proposition. Deux techniques y concourent — le prompt engineering, qui structure la demande adressée au modèle, et la génération augmentée par récupération (Retrieval-Augmented Generation, RAG), qui contraint le modèle à travailler sur des documents préalablement sélectionnés. Toutes deux réduisent le risque d’erreur. Aucune ne le supprime.

Le prompt n’est pas une question : c’est un cahier des charges

Dans l’usage courant, le prompt se réduit à une question sommaire : « Analyse ce contrat », « Résume cette décision », « Rédige une assignation ». La formule paraît commode. Elle abandonne en réalité au modèle une série de choix que l’avocat seul devrait faire : quel objectif, quel destinataire, quel droit applicable, quelle longueur, quel degré de prudence.

Les guides consacrés à l’usage de l’IA générative par les professionnels du droit recommandent de construire la demande autour de quatre éléments : l’objectif poursuivi, le contexte, les attentes relatives au résultat et les sources à utiliser. Le guide publié par la Singapore Academy of Law et Microsoft invite ainsi à préciser la tâche, la juridiction, la période concernée, le ton, le format et les documents de référence.

Transposé à la pratique française, un prompt utile énonce :

• • la fonction demandée – analyser, comparer, résumer, critiquer, rédiger ou contrôler ;
  • le contexte – faits pertinents, procédure, juridiction, stade du dossier ;
  • la méthode attendue – qualification juridique, identification des règles applicables, confrontation des arguments ;
  • le format de sortie – tableau, note, plan, projet d’acte, liste des points à vérifier ;
  • les contraintes de traçabilité – rattacher chaque proposition à une source identifiée du corpus fourni, signaler expressément ce qui n’y figure pas, distinguer le droit positif de l’interprétation ;
  • les sources autorisées – pièces communiquées, textes officiels, jurisprudence ou doctrine identifiée.

Prescrire au modèle de « ne rien inventer » n’a, en revanche, qu’un effet marginal. L’hallucination n’est pas une désobéissance : elle est le produit normal d’une génération probabiliste. La consigne utile est celle dont l’exécution se vérifie. On ne contrôle pas la sincérité du modèle ; on contrôle la traçabilité de sa réponse.

Le résultat dépend moins d’une formule magique que de la précision du cahier des charges.

Décomposer pour mieux contrôler

Une question juridique complexe ne se traite pas en une seule opération.

Demander au modèle de lire un dossier, d’en extraire les faits, d’identifier les moyens, de rechercher le droit applicable et de rédiger l’argumentation dans un même mouvement multiplie les erreurs silencieuses : la réponse finale paraît cohérente alors qu’aucune de ses étapes n’a été vérifiée.

Séquencer le travail est plus sûr. Extraire d’abord les faits établis et les distinguer des allégations ; recenser ensuite les questions juridiques ; identifier les textes et les décisions pertinents ; confronter les arguments des parties ; signaler les points incertains ou non documentés ; ne proposer qu’en dernier lieu une synthèse ou un projet de rédaction.
Cette décomposition ne garantit rien quant à la vérité du résultat. Son bénéfice est ailleurs : elle rend le raisonnement lisible et la supervision possible. Le gain est de vérification avant d’être de performance.

Andrew Coan et Harry Surden ont établi que les productions des modèles sont hautement sensibles à la formulation de la question et aux contre-arguments qui leur sont opposés : deux cadrages différents conduisent à deux analyses différentes. Le prompt doit donc demander au modèle de rechercher les objections, les qualifications concurrentes et les éléments propres à infirmer sa première analyse. Lui demander de confirmer une intuition déjà formée, c’est obtenir cette confirmation.

Le RAG : une mémoire externe

Le RAG ajoute au fonctionnement du modèle une étape de recherche documentaire.

Au lieu de répondre à partir de sa seule mémoire paramétrique — les régularités acquises pendant l’entraînement —, le système interroge d’abord une base sélectionnée, puis joint à la requête les passages jugés pertinents ; le modèle rédige à partir de ce contexte, et l’utilisateur peut, en principe, vérifier la réponse dans les documents d’origine.

Encore faut-il savoir ce que « pertinent » signifie ici. Les documents de la base sont préalablement découpés en fragments, puis convertis en représentations numériques ; la question subit la même conversion ; le système retient les fragments dont la représentation est la plus proche de celle de la question. Le modèle ne voit donc jamais un document. Il voit des morceaux de document, choisis par proximité sémantique et non par pertinence juridique.

Trois conséquences intéressent directement l’avocat. Un alinéa peut être restitué sans l’article qui le commande. Les motifs d’un arrêt peuvent être extraits sans son dispositif. Une clause peut être lue hors du contrat qui en définit les termes. Aucune de ces amputations n’apparaît dans la réponse produite.

La recherche sémantique souffre d’une seconde limite, plus contrariante encore pour le juriste : elle traite mal ce que l’avocat interroge le plus souvent, une référence exacte — numéro d’article, numéro de pourvoi, date de décision. Elle repose sur la ressemblance de sens, non sur la correspondance de chaîne. Les dispositifs sérieux associent donc l’indexation lexicale classique, familière à qui pratique l’interrogation booléenne, et l’indexation sémantique.

L’article fondateur de Patrick Lewis et de ses coauteurs décrit la combinaison d’une mémoire paramétrique, constituée par le modèle lui-même, et d’une mémoire externe non paramétrique, constituée par un index documentaire ; les auteurs constatent que l’architecture produit des réponses plus spécifiques et plus factuelles qu’un modèle privé de récupération. Une précision s’impose toutefois : l’architecture qu’ils décrivent est entraînée de bout en bout. Elle a donné son nom à une famille de dispositifs beaucoup plus simples, ceux qu’emploient les produits juridiques actuels, où les passages récupérés sont seulement versés dans la fenêtre de contexte, sans aucun réentraînement du modèle. La saturation de cette fenêtre, évoquée précédemment dans cette série, dégrade d’ailleurs l’exploitation des passages ainsi fournis.

Pour un cabinet, la base peut être un corpus de textes officiels, un fonds jurisprudentiel, une bibliothèque de contrats, les consultations antérieures ou le dossier de pièces d’une affaire. Le dispositif ne vaut jamais plus que la base qui l’alimente.

La datation en fournit l’illustration la plus sévère. Un index documentaire ignore la notion de « texte en vigueur » : il ne sait ni qu’un texte a été abrogé, ni qu’une rédaction en a remplacé une autre, sauf si ses métadonnées portent les dates de version et si la requête les exploite. Un fragment issu d’une rédaction périmée se retrouve aussi facilement qu’un autre, et rien, dans la réponse, ne signale qu’il l’est. Un index mal tenu produit des réponses mal fondées — avec l’apparence de la source.

Constituer un tel index revient enfin à dupliquer les dossiers du cabinet dans une base distincte. Le secret professionnel, la localisation et la conservation des données commandent alors des exigences propres, qui seront examinées à part.

Réduire n’est pas éliminer

Le RAG ne supprime pas les hallucinations. Il déplace le risque.

Le système peut ne pas retrouver le document pertinent, retenir une décision seulement voisine, servir une version abrogée, fournir un extrait tronqué. Le modèle peut ensuite mal interpréter le passage récupéré, lui prêter une portée qu’il n’a pas, ou citer une source authentique qui ne soutient pas la proposition avancée.

L’étude conduite par le RegLab de Stanford sur les principaux outils de recherche juridique fondés sur la récupération documentaire l’établit : Lexis+ AI, Westlaw AI-Assisted Research et Ask Practical Law AI produisent une réponse erronée ou mal ancrée dans 17 % à 33 % des requêtes testées. Lexis+ AI, le plus performant, ne répond exactement qu’à 65 % des requêtes ; Ask Practical Law AI livre une réponse incomplète dans plus de 60 % des cas. Les chercheurs distinguent l’erreur franche de la réponse « mal ancrée », dans laquelle la source citée existe mais ne soutient pas la proposition formulée. Les outils ont été testés en mai 2024 : ces chiffres décrivent un état de l’art daté, non l’état actuel des produits. Ils conservent leur portée pour une autre raison — ils portent sur des systèmes que leurs éditeurs présentaient alors comme affranchis de l’hallucination.

Le chiffre parfois avancé d’une réduction des hallucinations « de 17 % à 3 % » appelle donc la prudence. Les données disponibles n’autorisent aucune règle générale valable pour tous les outils, toutes les bases et toutes les tâches. Dans l’essai contrôlé conduit par Daniel Schwarcz, Sam Manning, J. J. Prescott et leurs coauteurs, l’outil fondé sur le RAG a produit trois citations inexistantes, contre onze pour le modèle de raisonnement testé. La portée de cette observation reste étroite : l’essai a été mené sur des étudiants avancés en droit, non sur des praticiens, avec un outil déterminé, et le décompte des citations n’y est qu’un résultat second, l’objet principal de l’étude étant le gain de qualité et de rapidité. Le résultat encourage ; il ne fixe pas un taux.

Ce qui reste à l’avocat

Le prompt engineering améliore la formulation du problème ; le RAG améliore l’accès aux sources. Ni l’un ni l’autre ne dispensent de vérifier la règle de droit, la date du texte, la portée de la décision et l’adéquation de la citation au raisonnement.

Demander précisément, documenter la réponse, contrôler chaque proposition décisive. La valeur de l’assistant tient tout entière au cadre que le professionnel lui impose. L’IA n’est pas une autorité juridique ; elle ne le deviendra pas parce qu’on l’aura mieux interrogée.

Note de terminologie : La liste relative au vocabulaire de l’intelligence artificielle publiée au Journal officiel du 6 septembre 2024 retient « instruction générative » comme équivalent français de prompt et déconseille « invite » dans ce sens. Les termes prompt et prompt engineering sont néanmoins conservés ici : ils sont ceux de l’usage professionnel, y compris francophone, et l’intelligibilité immédiate l’emporte sur l’orthodoxie terminologique

Sources de l’article : Patrick Lewis et al., « Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks », NeurIPS, 2020 : https://arxiv.org/abs/2005.11401. Varun Magesh et al., « Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools », Stanford RegLab et Stanford HAI, 2024-2025 : https://reglab.stanford.edu/publications/hallucination-free-assessing-the-reliability-of-leading-ai-legal-research-tools/ — présentation grand public : https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries. Daniel Schwarcz, Sam Manning, Patrick Barry, David R. Cleveland, J. J. Prescott et Beverly Rich, « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law & Empirical Analysis, vol. 3, 2026, p. 220 : https://doi.org/10.1177/2755323X261427048. Singapore Academy of Law et Microsoft, Prompt Engineering for Lawyers, 2e éd., 2025 : https://sal.org.sg/wp-content/uploads/2025/10/Prompt-Engineering-Guide-2025-2nd-Edition.pdf. Andrew Coan et Harry Surden, « Artificial Intelligence and Constitutional Interpretation », University of Colorado Law Review, vol. 96, 2025, p. 413 : https://lawreview.colorado.edu/wp-content/uploads/2025/03/96.2.3-Coan-and-Surden.pdf. Commission d’enrichissement de la langue française, « Vocabulaire de l’intelligence artificielle », NOR : CTNR2423171K, Journal officiel du 6 septembre 2024 : https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000050185686. 

IA et Avocats – Épisode 3 sur 20

« It’s not a bug, it’s a feature ». La formule s’applique parfaitement aux hallucinations. Elles ne sont pas des anomalies, mais la manifestation prévisible d’un système conçu pour produire des textes vraisemblables, entraîné à répondre avec assurance, et exposé à des questions portant sur des faits qu’il n’a jamais appris avec fiabilité. Comprendre ce mécanisme, c’est cesser d’être surpris par les erreurs et s’organiser pour les éliminer avant.

Ce qu’est vraiment une hallucination

Le terme est emprunté à la psychologie, mais la métaphore est trompeuse. Un être humain qui hallucine perçoit quelque chose d’inexistant. Un modèle de langage qui hallucine produit une affirmation statistiquement vraisemblable, mais factuellement fausse, sans en avoir conscience — puisqu’il n’a pas de conscience.

L’hallucination n’est pas le signe d’un dysfonctionnement, c’est le fonctionnement normal du système appliqué à des situations pour lesquelles il ne dispose pas de données fiables.

Dans la pratique juridique, les hallucinations revêtent des formes particulièrement insidieuses. Un modèle peut fabriquer une référence de jurisprudence dont il compose le numéro de rôle, la chambre, la date et le dispositif — tous plausibles, aucun exact. Il peut paraphraser un texte législatif en en modifiant subtilement le sens. Il peut attribuer à un auteur une citation qu’il n’a jamais formulée. Dans tous ces cas, la réponse est fluide, construite et assurée. Rien dans sa forme ne signale l’erreur.

L’affaire Mata c. Avianca, jugée en 2023 devant le tribunal fédéral de New York, a rendu visible à grande échelle ce risque. Deux avocats avaient déposé des conclusions citant plusieurs décisions — toutes fictives, générées par ChatGPT. Sommés de produire les arrêts en question, ils ont été dans l’incapacité de le faire. Le tribunal a prononcé une sanction disciplinaire et financière. Cela fait longtemps que cette affaire n’est plus un cas isolé.

La cause profonde : les singletons et la rareté statistique

Adam Kalai, Santosh Vempala et leurs co-auteurs ont formalisé le mécanisme générateur des hallucinations dans un article de septembre 2025 (Why Language Models Hallucinate).

Leur conclusion est nette : les hallucinations ne sont pas un mystère ; elles émergent normalement de pressions statistiques ordinaires.

Le modèle hallucine sur ce qu’il a peu vu. Lors du pré-entraînement, un fait représenté des millions de fois — la définition du dol en droit des contrats, la structure d’un recours en cassation, le délai de prescription de droit commun — est codé avec une fiabilité élevée. En revanche, un fait n’apparaissant qu’une ou deux fois dans l’ensemble des données d’entraînement — un arrêt de cour d’appel, le décret d’application d’une loi récente, le nom d’un expert judiciaire spécialisé — ne laisse qu’une empreinte statistique infime. Les auteurs désignent ces occurrences rares sous le nom de singletons. Le modèle, incapable de distinguer ce qu’il sait de ce qu’il conjecture, complète statistiquement le vide par la réponse la plus vraisemblable — c’est-à-dire la plus probable, non la plus vraie.

En clair, la probabilité d’hallucination est inversement proportionnelle à la fréquence du fait dans les données d’entraînement. Le modèle est tendanciellement fiable sur les principes généraux du droit positif ; il est structurellement peu fiable sur les faits rares, récents, locaux ou précis — précisément ceux sur lesquels le travail de l’avocat est le plus exigeant.

L’effet aggravant du RLHF : le modèle apprend à deviner

À ce mécanisme fondamental s’ajoute un effet aggravant, décrit dans l’article précédent : l’entraînement par renforcement à partir de retours humains (RLHF) oriente le modèle vers des réponses confiantes et bien formulées. Les évaluateurs humains, confrontés à deux réponses concurrentes, plébiscitent généralement la plus assurée — qu’elle soit exacte ou non.

Kalai et ses co-auteurs comparent le modèle à un candidat passant un examen à choix multiple sous un barème qui ne pénalise pas les erreurs. La stratégie rationnelle, pour ce candidat, est de répondre même lorsqu’il ignore la réponse : l’abstention rapporte zéro, l’intuition heureuse rapporte un point. Le modèle a intégré cette logique à l’échelle de milliards d’exemples. La conséquence est expérimentalement vérifiable : interrogé à trois reprises sur la date de naissance d’une même personne, un modèle de premier rang fournit trois dates différentes, toutes incorrectes, sans jamais émettre le moindre doute.

Ce comportement met en évidence une asymétrie fondamentale. Le RLHF améliore la calibration stylistique du modèle — la fluidité, la cohérence apparente, la structure — tout en dégradant sa calibration statistique, c’est-à-dire sa capacité à proportionner son assurance à son degré réel de certitude. Il en résulte un outil dont les défaillances sont, par construction, les plus difficiles à détecter.

Les hallucinaions ne sont pas distribuées au hasard

Sont à haut risque d’hallucination : les références précises (numéros d’arrêt, numéros de JORF, références de textes réglementaires) ; les faits postérieurs à la date de gel des données d’entraînement (le modèle n’a aucune information sur ce qui s’est produit après cette date, mais peut en inventer) ; les noms propres — personnes, sociétés, juridictions — peu présents dans les données publiques ; les chiffres précis (montants, délais, seuils) et les citations textuelles attribuées à un auteur ou à une décision identifiée.

Sont à risque modéré : la synthèse de grands principes jurisprudentiels, la description de procédures bien documentées, la reformulation de textes fournis directement dans la requête (le modèle travaille alors sur un matériau qu’il a sous les yeux, et non sur ses représentations statistiques internes).

La distinction entre mémoire externe (le texte soumis dans le prompt) et mémoire paramétrique (ce que le modèle a mémorisé lors de l’entraînement) est l’une des clefs d’un usage maîtrisé. Un modèle auquel on soumet le texte intégral d’un contrat ou d’un jugement pour qu’il en fasse la synthèse travaille différemment d’un modèle auquel on pose une question sur ce que la loi prévoit en matière de garantie des vices cachés sans lui fournir aucun texte de référence.

Ce que cela signifie concrètement pour un avocat

Le risque juridique et déontologique est direct. Soumettre à une juridiction une référence jurisprudentielle non vérifiée constitue, au minimum, un manquement professionnel.
Trois pratiques permettent de réduire l’exposition sans renoncer à l’efficacité de l’outil.

La première est la vérification systématique de toute référence factuelle précise — citation, numéro d’arrêt, date, montant — sur une source primaire : Légifrance, les bases de jurisprudence officielle, les textes consolidés. La règle peut s’énoncer simplement : ce que le modèle affirme avec précision est ce qui doit être vérifié en priorité.

La deuxième est d’alimenter le modèle en textes de référence plutôt que de lui poser des questions sur sa mémoire interne. Soumettre le texte du contrat, de la décision ou du texte réglementaire pertinent dans la requête réduit considérablement le risque d’hallucination, car le modèle travaille alors sur un matériau explicitement fourni. Ce principe — fonder la réponse sur la mémoire externe plutôt que sur la mémoire paramétrique — sera au cœur du quatrième article de cette série, consacré aux techniques de formulation des requêtes.

La troisième est d’interpréter la confiance du modèle comme un signal neutre, non comme un indicateur de fiabilité. La fluidité de la réponse, la précision apparente des références, le ton assuré sont des propriétés stylistiques issues du RLHF ; ils ne corrèlent pas avec l’exactitude factuelle.

Conclusion

Le prochain article de cette série s’attachera à la question pratique qui s’ensuit naturellement : comment la formulation d’une requête — le prompt — peut-elle réduire (sans éliminer) ce risque, améliorer la qualité des réponses et rendre l’outil significativement plus utile dans la pratique quotidienne d’un cabinet ? Découvrez la réponse dans notre article dédié en cliquant-ici.

Sources de l’article : Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, Why Language Models Hallucinate, arXiv:2509.04664, 4 septembre 2025. Harry Surden, « Artificial Intelligence and Law: An Overview of Recent Technological Changes », University of Colorado Law Review, vol. 96, 2025 (Keynote address, Rothgerber Conference 2024). Daniel Schwarcz, Sam Manning, J.J. Prescott et al., « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law and Empirical Analysis, 2026. DOI : 10.1177/2755323X261427048. Juge P. Kevin Castel, Mata c. Avianca, Inc., No. 22-cv-1461 (PKC), S.D.N.Y., 22 juin 2023 (order to show cause et sanctions disciplinaires). Règlement intérieur national de la profession d’avocat (RIN), art. 1.3 (compétence et diligence), version consolidée en vigueur.

NLP, RLHF, fenêtre de contexte : ce que le modèle « sait » réellement, pourquoi ses certitudes ne sont que probabilités.

Le modèle répond avec assurance. La formulation est impeccable, le raisonnement paraît solide, les références semblent exactes. Et pourtant, il invente. Pas par malice — par construction. L’article précédent a décrit l’architecture et le mécanisme de prédiction de tokens. Celui-ci pose une question plus fondamentale : que se passe-t-il après le pré-entraînement ? Comment le modèle apprend-il à se comporter, et pourquoi cette phase d’apprentissage le rend-il structurellement incapable d’admettre son ignorance ?

Apprendre à plaire avant d’apprendre à être juste : le RLHF

Le pré-entraînement — décrit dans l’article précédent — produit un modèle capable de compléter des textes, mais pas encore de dialoguer utilement. Une troisième phase d’entraînement, postérieure au fine-tuning supervisé, vient affiner ce comportement. Elle repose sur une technique connue sous le sigle RLHF : Reinforcement Learning from Human Feedback, soit apprentissage par renforcement à partir de retours humains.

Le mécanisme est le suivant : des annotateurs humains comparent plusieurs réponses générées par le modèle et indiquent laquelle est préférable. Ces préférences servent de signal d’entraînement. Le modèle apprend progressivement à produire le type de réponses que les évaluateurs plébiscitent : claires, bien construites, assurées dans le ton. Or cette optimisation crée un biais profond. Les systèmes d’évaluation récompensent les réponses confiantes — exactes ou non — et pénalisent les formulations prudemment incertaines. Des chercheurs d’OpenAI et du Georgia Institute of Technology ont formalisé ce mécanisme : le RLHF tend à dégrader la calibration statistique acquise lors du pré-entraînement, c’est-à-dire la capacité du modèle à proportionner son assurance à son degré réel de certitude.

Toujours en mode examen : le biais structurel de la confiance

Ce résultat contre-intuitif mérite d’être développé, car il touche directement au cœur du risque pour les avocats. Kalai, Vempala et leurs co-auteurs d’OpenAI l’expriment ainsi : les modèles de langage se comportent comme des candidats à un examen à choix multiples. Lorsqu’un candidat ignore la réponse, la stratégie optimale — sous un barème binaire qui ne pénalise pas les erreurs — est de répondre quand même. Le modèle a intégré cette logique à grande échelle : dans l’immense majorité des benchmarks qui dominent les classements, les abstentions ne rapportent rien, tandis qu’une bonne intuition rapporte un point.

La conséquence est documentée expérimentalement. Interrogé trois fois de suite sur la date de naissance d’une même personne, un modèle de pointe fournit trois dates différentes, toutes incorrectes, sans jamais émettre le moindre doute. Ce comportement n’est pas un dysfonctionnement isolé : c’est la manifestation d’un biais systémique. Pour l’avocat, cela signifie qu’aucun signal formel dans la réponse — ni la fluidité du style, ni la précision apparente des références, ni le ton assuré — ne permet de distinguer une affirmation exacte d’une conjecture habillée en certitude.

La fenêtre de contexte : une loupe entourée de flou

Au-delà de ce que le modèle sait, il faut comprendre ce qu’il voit à chaque instant. Le modèle ne conserve aucune mémoire entre deux sessions : chaque échange repart de zéro. Ce qu’il traite en temps réel est exclusivement le contenu de sa fenêtre de contexte (context window) — l’ensemble du texte soumis dans l’échange en cours.

Cette fenêtre peut atteindre plusieurs centaines de milliers de tokens selon les modèles récents, ce qui permet d’y faire tenir un contrat volumineux ou un dossier de procédure. Mais deux limites demeurent. D’abord, tout ce qui est extérieur à la fenêtre est, pour le modèle, inexistant : une conversation entamée la veille, un document non joint, une instruction antérieure non répétée. Ensuite, et c’est moins intuitif, les passages les plus éloignés les uns des autres au sein d’une même fenêtre reçoivent une attention moindre du mécanisme d’attention. Un contrat de quatre-vingt pages soumis en une seule requête peut donc donner lieu à des réponses qui ignorent des clauses situées loin des passages les plus saillants.

Connaissance ou pattern ? Ce que le modèle « sait » réellement

La question la plus importante pour un praticien est celle-ci : le modèle comprend-il ce qu’il produit, ou se contente-t-il de reproduire des régularités statistiques ? La réponse des chercheurs est convergente : il n’existe, à ce stade, aucune preuve que ces systèmes opèrent une véritable compréhension au sens cognitif du terme. Le modèle ne raisonne pas à partir de représentations du monde ; il calcule la continuation statistiquement la plus vraisemblable d’un texte.

Cette distinction a des conséquences asymétriques selon le type d’information concernée. Sur les faits très fréquemment représentés dans les données d’entraînement — les principes généraux du droit des contrats, les grandes étapes d’une procédure, les notions élémentaires de droit commun — le modèle est performant, car il a traité ces configurations des milliards de fois. En revanche, sur les faits rares ou récents — une jurisprudence locale, une disposition réglementaire modifiée après la date de gel des données d’entraînement (knowledge cutoff), une affaire peu médiatisée — le modèle ne dispose d’aucun signal statistique fiable. Des chercheurs d’OpenAI et du Georgia Institute of Technology ont quantifié ce mécanisme : le taux d’hallucination est corrélé à la proportion de faits n’apparaissant qu’une seule fois dans les données d’entraînement, les singletons. Ce phénomène sera analysé en détail dans le prochain article, consacré aux hallucinations.

Ce que cela change pour la pratique

Ces propriétés techniques ont des implications déontologiques directes. La confiance dans un outil ne peut être raisonnablement accordée que si l’on en connaît les limites. Un modèle de langage est particulièrement fiable sur les tâches où il existe une forte densité de données d’entraînement et où la réponse peut être facilement vérifiée : rédaction d’une structure de document, reformulation, synthèse de textes fournis en contexte. Il est structurellement peu fiable sur toute question exigeant une précision factuelle concernant des faits rares, récents ou locaux — exactement les types de questions qui se posent quotidiennement dans un cabinet.

Conclusion

La supervision humaine est la réponse nécessaire à une limite que les concepteurs eux-mêmes reconnaissent comme irréductible dans l’état actuel de la technologie. La question n’est pas de savoir si l’outil peut se tromper — il le peut et il le fera —, mais d’organiser le travail de façon que l’erreur soit détectée avant de devenir une faute professionnelle. Ce devoir de supervision fait l’objet du septième article de cette série, que vous pouvez découvrir en cliquant-ici.

Sources de l’article : Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, Why Language Models Hallucinate, arXiv:2509.04664, 4 septembre 2025. Harry Surden, Artificial Intelligence and Law: An Overview of Recent Technological Changes, University of Colorado Law Review, vol. 96, 2025 (Keynote address, Rothgerber Conference 2024). Daniel Schwarcz, Sam Manning, J.J. Prescott et al., AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice, Journal of Law and Empirical Analysis, 2026. Long Ouyang et al., Training Language Models to Follow Instructions with Human Feedback, Advances in Neural Information Processing Systems, vol. 35, 2022.

Peut-on faire confiance à un outil dont on ignore le fonctionnement ? Voici ce que tout avocat devrait savoir sur ce que l’on appelle un « grand modèle de langage ».

De la règle au pattern : deux siècles d’IA en quelques décennies

Pendant longtemps, les systèmes informatiques dits « intelligents » fonctionnaient selon une logique descendante : des experts — juristes, médecins, ingénieurs — formulaient des règles, que les programmeurs traduisaient en instructions pour la machine. Cette approche, dite « symbolique », a donné naissance aux premiers logiciels de calcul fiscal ou de diagnostic médical assisté. Mais elle s’est heurtée à une limite fondamentale : le monde réel est trop complexe pour être capturé par des milliers de règles manuellement codées.

L’approche alternative, l’apprentissage automatique (machine learning), inverse la logique. On ne dit plus à la machine quoi faire : on lui fournit des millions d’exemples, et elle détecte elle-même les régularités statistiques. Un système entraîné sur des millions de contrats n’a pas reçu de définition du mot « clause abusive » ; il a appris à reconnaître les configurations qui, dans les données d’entraînement, y étaient associées. C’est cette logique qui gouverne les grands modèles de langage.

Le transformer : l’invention qui a tout changé

Contrairement aux architectures précédentes, le transformer permet au modèle de prendre en compte, simultanément, l’ensemble du contexte d’un texte : chaque mot n’est plus interprété isolément, mais en relation avec tous les autres mots environnants. Cette capacité d’« attention » contextualisée a rendu possible, pour la première fois, une compréhension fluide des textes longs — contrats, jugements, mémoires.

Sur cette architecture, OpenAI a entraîné successivement les modèles GPT. Les premières versions (GPT-1 en 2018, GPT-2 en 2019, GPT-3 en 2020) restaient décevantes sur des tâches complexes. La rupture est intervenue fin 2022, avec ChatGPT fondé sur GPT-3.5 : pour la première fois, un système pouvait répondre de façon cohérente à n’importe quelle question, rédiger des actes juridiques reconnaissables, et même réussir l’examen du barreau américain dans ses versions ultérieures. La vitesse de cette progression a surpris les chercheurs eux-mêmes, y compris ceux qui travaillaient dans le domaine.

Comment le modèle « parle » : la prédiction de tokens

Comprendre ce que fait concrètement un grand modèle de langage est essentiel pour en mesurer les limites. Le modèle ne « pense » pas au sens humain du terme. Il prédit, à chaque étape, le token le plus probable à la suite du contexte fourni. Un token est une unité textuelle — approximativement un mot, parfois moins. Pour produire la phrase « La clause de non-concurrence est », le modèle calcule, parmi des dizaines de milliers de tokens possibles, lequel a la plus forte probabilité d’apparaître après ce début de phrase, compte tenu de tout ce sur quoi il a été entraîné.

Ce mécanisme explique à la fois les performances remarquables du modèle — il a ingéré des milliards de documents juridiques, scientifiques et littéraires — et ses défaillances structurelles. La prédiction statistique peut produire une réponse fluide et vraisemblable sur le plan linguistique, mais fausse sur le fond. Le modèle ne vérifie pas ; il prédit. C’est la source profonde du phénomène dit d’hallucination, qui sera examiné dans le troisième article de cette série.

L’entraînement : données, paramètres, ajustements humain

Un grand modèle de langage est le produit de trois phases successives. La première est le pré-entraînement : le modèle est exposé à d’immenses corpus textuels — pages web, livres, articles scientifiques, bases jurisprudentielles — et apprend à prédire les tokens suivants. C’est à ce stade que le modèle acquiert sa connaissance du monde, de la syntaxe et des structures argumentatives.

La taille de cette connaissance se mesure en paramètres — des valeurs numériques internes que le modèle ajuste pendant l’apprentissage pour minimiser ses erreurs de prédiction. GPT-3 comptait 175 milliards de paramètres, Deep-Seek est à 675 milliards. Plus le modèle est grand et plus les données d’entraînement sont de qualité, plus ses performances s’améliorent (scaling laws).

La deuxième phase est le fine-tuning supervisé : des exemples de réponses de haute qualité, rédigés par des humains, orientent le modèle vers des réponses plus utiles et mieux structurées. La troisième phase, le RLHF (Reinforcement Learning from Human Feedback), consiste à soumettre des paires de réponses à des évaluateurs humains, dont les préférences servent de signal d’entraînement supplémentaire pour affiner le comportement du modèle (par exemple dans le domaine juridique).

Ce que cela signifie pour les avocats

Deux conséquences pratiques découlent directement de cette architecture.

Première conséquence : le modèle ne sait pas ce qu’il ne sait pas. Puisqu’il prédit sans vérifier, il peut produire une citation jurisprudentielle inexistante avec la même fluidité qu’une citation exacte. Aucun signal interne ne distingue la certitude de la conjecture. La supervision n’est pas une précaution facultative : c’est une nécessité structurelle.

Deuxième conséquence : le modèle est sensible à la formulation du prompt. Deux questions posées différemment au même modèle peuvent produire des réponses opposées. Le professeur Harry Surden (Université du Colorado, Stanford CodeX) a démontré expérimentalement que deux modèles de premier rang, interrogés sur la même question constitutionnelle, donnent des réponses contradictoires selon les mots employés dans la question. Ce n’est pas un dysfonctionnement ; c’est la conséquence de la prédiction statistique. L’article 2 de cette série approfondi cette question. À découvrir en cliquant-ici.

Conclusion

Un grand modèle de langage est une machine statistique d’une puissance sans précédent, capable de lire, résumer et rédiger des documents juridiques complexes à une vitesse inaccessible à l’humain. Cette puissance repose sur une architecture — le transformer — et un mécanisme — la prédiction de tokens — qui n’ont rien à voir avec le raisonnement humain. En comprendre le fonctionnement, c’est se donner les moyens de l’utiliser avec discernement.

Sources de l’article : Ashish Vaswani et al., « Attention Is All You Need », arXiv, 12 juin 2017. Lien de la source en cliquant-ici – OpenAI, GPT-4 Technical Report, arXiv, 15 mars 2023. Lien de la source en cliquant-ici – Daniel Schwarcz, Sam Manning, J.J. Prescott et al., « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law and Empirical Analysis, 2026. DOI : 10.1177/2755323X261427048 – Harry Surden, « Artificial Intelligence and Law: An Overview of Recent Technological Changes », University of Colorado Law Review, vol. 96, 2025 (Keynote address, Rothgerber Conference 2024).

La société d’avocats Elige Bordeaux recrute
un(e) collaborateur(trice) en Droit des Affaires.

La société d’avocats Elige Bordeaux, située au coeur de Bordeaux, fait partie d’une société inter-barreaux pluridisciplinaire ancrée sur l’ensemble du territoire de la Nouvelle-Aquitaine. Elle offre son expertise juridique dans de multiples domaines du droit des affaires, afin de répondre de manière complète aux besoins de ses clients français et internationaux.

A ce titre, les avocats de la société Elige Bordeaux assistent, conseillent et défendent les intérêts de leurs clients dans toutes les problématiques qu’implique la vie d’une entreprise (droit des affaires, droit des sociétés – Corporate M&A -, droit commercial, droit fiscal, droit public des affaires, droit pénal des affaires, droit des procédures collectives, droit bancaire, etc.).

LE POSTE

Elige Bordeaux recherche actuellement un(e) Collaborateur(trice) qui sera rattaché(e) au département Conseil – Droit des Affaires avec minimum 3 ans d’expérience.

Le(la) collaborateur(trice) interviendra plus particulièrement :

• • En droit des sociétés : constitution et suivi juridique courant des sociétés, modifications statutaires, opérations de haut de bilan, pacte d’associés & gouvernance, contrats intra-groupe ;
  • En M&A et droit des contrats : audits de pré-acquisition, cessions et levées de fonds (LOI, protocole d’investissement et d’acquisition de titres, garantie d’actif et de passif, cessions d’actifs et de fonds de commerce), contrats commerciaux ;
  • Sur des opérations de haut de bilan et restructuration de sociétés et de groupes.

VOTRE PROFIL

Vous disposez d’une solide formation en droit des affaires/droit des sociétés (Master 2, DJCE, Ecole de commerce, LLM).
Vous êtes rigoureux(se), autonome, réactif(ve), curieux(se), vous avez le sens du service ainsi qu’une réelle aisance relationnelle, ce qui vous permettra de vous intégrer au sein de notre société d’avocats.
Un esprit d’équipe associé à une grande capacité de travail et d’analyse seront les atouts nécessaires pour réussir à ce poste.
Minimum 3 ans d’expérience.

Rémunération selon profil.
Poste à pourvoir dès que possible.

CETTE OFFRE VOUS INTERESSE ?