IA et Avocats – Épisode 4 sur 20

Une requête vague appelle une réponse vague, quelle que soit la puissance du modèle interrogé. L’inverse n’est pas vrai : même un prompt parfaitement construit ne transforme pas une probabilité en vérité.

Pour l’avocat, l’enjeu n’est donc pas uniquement d’apprendre à « parler à l’IA ». Il est aussi d’organiser une méthode : préciser la demande, fournir les bonnes sources, contrôler chaque proposition. Deux techniques y concourent — le prompt engineering, qui structure la demande adressée au modèle, et la génération augmentée par récupération (Retrieval-Augmented Generation, RAG), qui contraint le modèle à travailler sur des documents préalablement sélectionnés. Toutes deux réduisent le risque d’erreur. Aucune ne le supprime.

Le prompt n’est pas une question : c’est un cahier des charges

Dans l’usage courant, le prompt se réduit à une question sommaire : « Analyse ce contrat », « Résume cette décision », « Rédige une assignation ». La formule paraît commode. Elle abandonne en réalité au modèle une série de choix que l’avocat seul devrait faire : quel objectif, quel destinataire, quel droit applicable, quelle longueur, quel degré de prudence.

Les guides consacrés à l’usage de l’IA générative par les professionnels du droit recommandent de construire la demande autour de quatre éléments : l’objectif poursuivi, le contexte, les attentes relatives au résultat et les sources à utiliser. Le guide publié par la Singapore Academy of Law et Microsoft invite ainsi à préciser la tâche, la juridiction, la période concernée, le ton, le format et les documents de référence.

Transposé à la pratique française, un prompt utile énonce :

• • la fonction demandée – analyser, comparer, résumer, critiquer, rédiger ou contrôler ;
  • le contexte – faits pertinents, procédure, juridiction, stade du dossier ;
  • la méthode attendue – qualification juridique, identification des règles applicables, confrontation des arguments ;
  • le format de sortie – tableau, note, plan, projet d’acte, liste des points à vérifier ;
  • les contraintes de traçabilité – rattacher chaque proposition à une source identifiée du corpus fourni, signaler expressément ce qui n’y figure pas, distinguer le droit positif de l’interprétation ;
  • les sources autorisées – pièces communiquées, textes officiels, jurisprudence ou doctrine identifiée.

Prescrire au modèle de « ne rien inventer » n’a, en revanche, qu’un effet marginal. L’hallucination n’est pas une désobéissance : elle est le produit normal d’une génération probabiliste. La consigne utile est celle dont l’exécution se vérifie. On ne contrôle pas la sincérité du modèle ; on contrôle la traçabilité de sa réponse.

Le résultat dépend moins d’une formule magique que de la précision du cahier des charges.

Décomposer pour mieux contrôler

Une question juridique complexe ne se traite pas en une seule opération.

Demander au modèle de lire un dossier, d’en extraire les faits, d’identifier les moyens, de rechercher le droit applicable et de rédiger l’argumentation dans un même mouvement multiplie les erreurs silencieuses : la réponse finale paraît cohérente alors qu’aucune de ses étapes n’a été vérifiée.

Séquencer le travail est plus sûr. Extraire d’abord les faits établis et les distinguer des allégations ; recenser ensuite les questions juridiques ; identifier les textes et les décisions pertinents ; confronter les arguments des parties ; signaler les points incertains ou non documentés ; ne proposer qu’en dernier lieu une synthèse ou un projet de rédaction.
Cette décomposition ne garantit rien quant à la vérité du résultat. Son bénéfice est ailleurs : elle rend le raisonnement lisible et la supervision possible. Le gain est de vérification avant d’être de performance.

Andrew Coan et Harry Surden ont établi que les productions des modèles sont hautement sensibles à la formulation de la question et aux contre-arguments qui leur sont opposés : deux cadrages différents conduisent à deux analyses différentes. Le prompt doit donc demander au modèle de rechercher les objections, les qualifications concurrentes et les éléments propres à infirmer sa première analyse. Lui demander de confirmer une intuition déjà formée, c’est obtenir cette confirmation.

Le RAG : une mémoire externe

Le RAG ajoute au fonctionnement du modèle une étape de recherche documentaire.

Au lieu de répondre à partir de sa seule mémoire paramétrique — les régularités acquises pendant l’entraînement —, le système interroge d’abord une base sélectionnée, puis joint à la requête les passages jugés pertinents ; le modèle rédige à partir de ce contexte, et l’utilisateur peut, en principe, vérifier la réponse dans les documents d’origine.

Encore faut-il savoir ce que « pertinent » signifie ici. Les documents de la base sont préalablement découpés en fragments, puis convertis en représentations numériques ; la question subit la même conversion ; le système retient les fragments dont la représentation est la plus proche de celle de la question. Le modèle ne voit donc jamais un document. Il voit des morceaux de document, choisis par proximité sémantique et non par pertinence juridique.

Trois conséquences intéressent directement l’avocat. Un alinéa peut être restitué sans l’article qui le commande. Les motifs d’un arrêt peuvent être extraits sans son dispositif. Une clause peut être lue hors du contrat qui en définit les termes. Aucune de ces amputations n’apparaît dans la réponse produite.

La recherche sémantique souffre d’une seconde limite, plus contrariante encore pour le juriste : elle traite mal ce que l’avocat interroge le plus souvent, une référence exacte — numéro d’article, numéro de pourvoi, date de décision. Elle repose sur la ressemblance de sens, non sur la correspondance de chaîne. Les dispositifs sérieux associent donc l’indexation lexicale classique, familière à qui pratique l’interrogation booléenne, et l’indexation sémantique.

L’article fondateur de Patrick Lewis et de ses coauteurs décrit la combinaison d’une mémoire paramétrique, constituée par le modèle lui-même, et d’une mémoire externe non paramétrique, constituée par un index documentaire ; les auteurs constatent que l’architecture produit des réponses plus spécifiques et plus factuelles qu’un modèle privé de récupération. Une précision s’impose toutefois : l’architecture qu’ils décrivent est entraînée de bout en bout. Elle a donné son nom à une famille de dispositifs beaucoup plus simples, ceux qu’emploient les produits juridiques actuels, où les passages récupérés sont seulement versés dans la fenêtre de contexte, sans aucun réentraînement du modèle. La saturation de cette fenêtre, évoquée précédemment dans cette série, dégrade d’ailleurs l’exploitation des passages ainsi fournis.

Pour un cabinet, la base peut être un corpus de textes officiels, un fonds jurisprudentiel, une bibliothèque de contrats, les consultations antérieures ou le dossier de pièces d’une affaire. Le dispositif ne vaut jamais plus que la base qui l’alimente.

La datation en fournit l’illustration la plus sévère. Un index documentaire ignore la notion de « texte en vigueur » : il ne sait ni qu’un texte a été abrogé, ni qu’une rédaction en a remplacé une autre, sauf si ses métadonnées portent les dates de version et si la requête les exploite. Un fragment issu d’une rédaction périmée se retrouve aussi facilement qu’un autre, et rien, dans la réponse, ne signale qu’il l’est. Un index mal tenu produit des réponses mal fondées — avec l’apparence de la source.

Constituer un tel index revient enfin à dupliquer les dossiers du cabinet dans une base distincte. Le secret professionnel, la localisation et la conservation des données commandent alors des exigences propres, qui seront examinées à part.

Réduire n’est pas éliminer

Le RAG ne supprime pas les hallucinations. Il déplace le risque.

Le système peut ne pas retrouver le document pertinent, retenir une décision seulement voisine, servir une version abrogée, fournir un extrait tronqué. Le modèle peut ensuite mal interpréter le passage récupéré, lui prêter une portée qu’il n’a pas, ou citer une source authentique qui ne soutient pas la proposition avancée.

L’étude conduite par le RegLab de Stanford sur les principaux outils de recherche juridique fondés sur la récupération documentaire l’établit : Lexis+ AI, Westlaw AI-Assisted Research et Ask Practical Law AI produisent une réponse erronée ou mal ancrée dans 17 % à 33 % des requêtes testées. Lexis+ AI, le plus performant, ne répond exactement qu’à 65 % des requêtes ; Ask Practical Law AI livre une réponse incomplète dans plus de 60 % des cas. Les chercheurs distinguent l’erreur franche de la réponse « mal ancrée », dans laquelle la source citée existe mais ne soutient pas la proposition formulée. Les outils ont été testés en mai 2024 : ces chiffres décrivent un état de l’art daté, non l’état actuel des produits. Ils conservent leur portée pour une autre raison — ils portent sur des systèmes que leurs éditeurs présentaient alors comme affranchis de l’hallucination.

Le chiffre parfois avancé d’une réduction des hallucinations « de 17 % à 3 % » appelle donc la prudence. Les données disponibles n’autorisent aucune règle générale valable pour tous les outils, toutes les bases et toutes les tâches. Dans l’essai contrôlé conduit par Daniel Schwarcz, Sam Manning, J. J. Prescott et leurs coauteurs, l’outil fondé sur le RAG a produit trois citations inexistantes, contre onze pour le modèle de raisonnement testé. La portée de cette observation reste étroite : l’essai a été mené sur des étudiants avancés en droit, non sur des praticiens, avec un outil déterminé, et le décompte des citations n’y est qu’un résultat second, l’objet principal de l’étude étant le gain de qualité et de rapidité. Le résultat encourage ; il ne fixe pas un taux.

Ce qui reste à l’avocat

Le prompt engineering améliore la formulation du problème ; le RAG améliore l’accès aux sources. Ni l’un ni l’autre ne dispensent de vérifier la règle de droit, la date du texte, la portée de la décision et l’adéquation de la citation au raisonnement.

Demander précisément, documenter la réponse, contrôler chaque proposition décisive. La valeur de l’assistant tient tout entière au cadre que le professionnel lui impose. L’IA n’est pas une autorité juridique ; elle ne le deviendra pas parce qu’on l’aura mieux interrogée.

Conclusion

Le prochain article de cette série s’attachera à la question pratique qui s’ensuit naturellement : comment la formulation d’une requête — le prompt — peut-elle réduire (sans éliminer) ce risque, améliorer la qualité des réponses et rendre l’outil significativement plus utile dans la pratique quotidienne d’un cabinet ?

Note de terminologie : La liste relative au vocabulaire de l’intelligence artificielle publiée au Journal officiel du 6 septembre 2024 retient « instruction générative » comme équivalent français de prompt et déconseille « invite » dans ce sens. Les termes prompt et prompt engineering sont néanmoins conservés ici : ils sont ceux de l’usage professionnel, y compris francophone, et l’intelligibilité immédiate l’emporte sur l’orthodoxie terminologique

Sources de l’article : Patrick Lewis et al., « Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks », NeurIPS, 2020 : https://arxiv.org/abs/2005.11401. Varun Magesh et al., « Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools », Stanford RegLab et Stanford HAI, 2024-2025 : https://reglab.stanford.edu/publications/hallucination-free-assessing-the-reliability-of-leading-ai-legal-research-tools/ — présentation grand public : https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries. Daniel Schwarcz, Sam Manning, Patrick Barry, David R. Cleveland, J. J. Prescott et Beverly Rich, « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law & Empirical Analysis, vol. 3, 2026, p. 220 : https://doi.org/10.1177/2755323X261427048. Singapore Academy of Law et Microsoft, Prompt Engineering for Lawyers, 2e éd., 2025 : https://sal.org.sg/wp-content/uploads/2025/10/Prompt-Engineering-Guide-2025-2nd-Edition.pdf. Andrew Coan et Harry Surden, « Artificial Intelligence and Constitutional Interpretation », University of Colorado Law Review, vol. 96, 2025, p. 413 : https://lawreview.colorado.edu/wp-content/uploads/2025/03/96.2.3-Coan-and-Surden.pdf. Commission d’enrichissement de la langue française, « Vocabulaire de l’intelligence artificielle », NOR : CTNR2423171K, Journal officiel du 6 septembre 2024 : https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000050185686.