Peut-on faire confiance à un outil dont on ignore le fonctionnement ? Voici ce que tout avocat devrait savoir sur ce que l’on appelle un « grand modèle de langage ».

De la règle au pattern : deux siècles d’IA en quelques décennies

Pendant longtemps, les systèmes informatiques dits « intelligents » fonctionnaient selon une logique descendante : des experts — juristes, médecins, ingénieurs — formulaient des règles, que les programmeurs traduisaient en instructions pour la machine. Cette approche, dite « symbolique », a donné naissance aux premiers logiciels de calcul fiscal ou de diagnostic médical assisté. Mais elle s’est heurtée à une limite fondamentale : le monde réel est trop complexe pour être capturé par des milliers de règles manuellement codées.

L’approche alternative, l’apprentissage automatique (machine learning), inverse la logique. On ne dit plus à la machine quoi faire : on lui fournit des millions d’exemples, et elle détecte elle-même les régularités statistiques. Un système entraîné sur des millions de contrats n’a pas reçu de définition du mot « clause abusive » ; il a appris à reconnaître les configurations qui, dans les données d’entraînement, y étaient associées. C’est cette logique qui gouverne les grands modèles de langage.

Le transformer : l’invention qui a tout changé

Contrairement aux architectures précédentes, le transformer permet au modèle de prendre en compte, simultanément, l’ensemble du contexte d’un texte : chaque mot n’est plus interprété isolément, mais en relation avec tous les autres mots environnants. Cette capacité d’« attention » contextualisée a rendu possible, pour la première fois, une compréhension fluide des textes longs — contrats, jugements, mémoires.

Sur cette architecture, OpenAI a entraîné successivement les modèles GPT. Les premières versions (GPT-1 en 2018, GPT-2 en 2019, GPT-3 en 2020) restaient décevantes sur des tâches complexes. La rupture est intervenue fin 2022, avec ChatGPT fondé sur GPT-3.5 : pour la première fois, un système pouvait répondre de façon cohérente à n’importe quelle question, rédiger des actes juridiques reconnaissables, et même réussir l’examen du barreau américain dans ses versions ultérieures. La vitesse de cette progression a surpris les chercheurs eux-mêmes, y compris ceux qui travaillaient dans le domaine.

Comment le modèle « parle » : la prédiction de tokens

Comprendre ce que fait concrètement un grand modèle de langage est essentiel pour en mesurer les limites. Le modèle ne « pense » pas au sens humain du terme. Il prédit, à chaque étape, le token le plus probable à la suite du contexte fourni. Un token est une unité textuelle — approximativement un mot, parfois moins. Pour produire la phrase « La clause de non-concurrence est », le modèle calcule, parmi des dizaines de milliers de tokens possibles, lequel a la plus forte probabilité d’apparaître après ce début de phrase, compte tenu de tout ce sur quoi il a été entraîné.

Ce mécanisme explique à la fois les performances remarquables du modèle — il a ingéré des milliards de documents juridiques, scientifiques et littéraires — et ses défaillances structurelles. La prédiction statistique peut produire une réponse fluide et vraisemblable sur le plan linguistique, mais fausse sur le fond. Le modèle ne vérifie pas ; il prédit. C’est la source profonde du phénomène dit d’hallucination, qui sera examiné dans le troisième article de cette série.

L’entraînement : données, paramètres, ajustements humain

Un grand modèle de langage est le produit de trois phases successives. La première est le pré-entraînement : le modèle est exposé à d’immenses corpus textuels — pages web, livres, articles scientifiques, bases jurisprudentielles — et apprend à prédire les tokens suivants. C’est à ce stade que le modèle acquiert sa connaissance du monde, de la syntaxe et des structures argumentatives.

La taille de cette connaissance se mesure en paramètres — des valeurs numériques internes que le modèle ajuste pendant l’apprentissage pour minimiser ses erreurs de prédiction. GPT-3 comptait 175 milliards de paramètres, Deep-Seek est à 675 milliards. Plus le modèle est grand et plus les données d’entraînement sont de qualité, plus ses performances s’améliorent (scaling laws).

La deuxième phase est le fine-tuning supervisé : des exemples de réponses de haute qualité, rédigés par des humains, orientent le modèle vers des réponses plus utiles et mieux structurées. La troisième phase, le RLHF (Reinforcement Learning from Human Feedback), consiste à soumettre des paires de réponses à des évaluateurs humains, dont les préférences servent de signal d’entraînement supplémentaire pour affiner le comportement du modèle (par exemple dans le domaine juridique).

Ce que cela signifie pour les avocats

Deux conséquences pratiques découlent directement de cette architecture.

Première conséquence : le modèle ne sait pas ce qu’il ne sait pas. Puisqu’il prédit sans vérifier, il peut produire une citation jurisprudentielle inexistante avec la même fluidité qu’une citation exacte. Aucun signal interne ne distingue la certitude de la conjecture. La supervision n’est pas une précaution facultative : c’est une nécessité structurelle.

Deuxième conséquence : le modèle est sensible à la formulation du prompt. Deux questions posées différemment au même modèle peuvent produire des réponses opposées. Le professeur Harry Surden (Université du Colorado, Stanford CodeX) a démontré expérimentalement que deux modèles de premier rang, interrogés sur la même question constitutionnelle, donnent des réponses contradictoires selon les mots employés dans la question. Ce n’est pas un dysfonctionnement ; c’est la conséquence de la prédiction statistique. Le prochain article de cette série approfondira cette question.

Conclusion

Un grand modèle de langage est une machine statistique d’une puissance sans précédent, capable de lire, résumer et rédiger des documents juridiques complexes à une vitesse inaccessible à l’humain. Cette puissance repose sur une architecture — le transformer — et un mécanisme — la prédiction de tokens — qui n’ont rien à voir avec le raisonnement humain. En comprendre le fonctionnement, c’est se donner les moyens de l’utiliser avec discernement.

Sources de l’article : Ashish Vaswani et al., « Attention Is All You Need », arXiv, 12 juin 2017. Lien de la source en cliquant-ici – OpenAI, GPT-4 Technical Report, arXiv, 15 mars 2023. Lien de la source en cliquant-ici – Daniel Schwarcz, Sam Manning, J.J. Prescott et al., « AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice », Journal of Law and Empirical Analysis, 2026. DOI : 10.1177/2755323X261427048 – Harry Surden, « Artificial Intelligence and Law: An Overview of Recent Technological Changes », University of Colorado Law Review, vol. 96, 2025 (Keynote address, Rothgerber Conference 2024).