NLP, RLHF, fenêtre de contexte : ce que le modèle « sait » réellement, pourquoi ses certitudes ne sont que probabilités.

Le modèle répond avec assurance. La formulation est impeccable, le raisonnement paraît solide, les références semblent exactes. Et pourtant, il invente. Pas par malice — par construction. L’article précédent a décrit l’architecture et le mécanisme de prédiction de tokens. Celui-ci pose une question plus fondamentale : que se passe-t-il après le pré-entraînement ? Comment le modèle apprend-il à se comporter, et pourquoi cette phase d’apprentissage le rend-elle structurellement incapable d’admettre son ignorance ?

Apprendre à plaire avant d’apprendre à être juste : le RLHF

Le pré-entraînement — décrit dans l’article précédent — produit un modèle capable de compléter des textes, mais pas encore de dialoguer utilement. Une troisième phase d’entraînement, postérieure au fine-tuning supervisé, vient affiner ce comportement. Elle repose sur une technique connue sous le sigle RLHF : Reinforcement Learning from Human Feedback, soit apprentissage par renforcement à partir de retours humains.

Le mécanisme est le suivant : des annotateurs humains comparent plusieurs réponses générées par le modèle et indiquent laquelle est préférable. Ces préférences servent de signal d’entraînement. Le modèle apprend progressivement à produire le type de réponses que les évaluateurs plébiscitent : claires, bien construites, assurées dans le ton. Or cette optimisation crée un biais profond. Les systèmes d’évaluation récompensent les réponses confiantes — exactes ou non — et pénalisent les formulations prudemment incertaines. Des chercheurs d’OpenAI et du Georgia Institute of Technology ont formalisé ce mécanisme : le RLHF tend à dégrader la calibration statistique acquise lors du pré-entraînement, c’est-à-dire la capacité du modèle à proportionner son assurance à son degré réel de certitude.

Toujours en mode examen : le biais structurel de la confiance

Ce résultat contre-intuitif mérite d’être développé, car il touche directement au cœur du risque pour les avocats. Kalai, Vempala et leurs co-auteurs d’OpenAI l’expriment ainsi : les modèles de langage se comportent comme des candidats à un examen à choix multiple. Lorsqu’un candidat ignore la réponse, la stratégie optimale — sous un barème binaire qui ne pénalise pas les erreurs — est de répondre quand même. Le modèle a intégré cette logique à grande échelle : dans l’immense majorité des benchmarks qui dominent les classements, les abstentions ne rapportent rien, tandis qu’une bonne intuition rapporte un point.

La conséquence est documentée expérimentalement. Interrogé trois fois de suite sur la date de naissance d’une même personne, un modèle de pointe fournit trois dates différentes, toutes incorrectes, sans jamais émettre le moindre doute. Ce comportement n’est pas un dysfonctionnement isolé : c’est la manifestation d’un biais systémique. Pour l’avocat, cela signifie qu’aucun signal formel dans la réponse — ni la fluidité du style, ni la précision apparente des références, ni le ton assuré — ne permet de distinguer une affirmation exacte d’une conjecture habillée en certitude.

La fenêtre de contexte : une loupe entourée de flou

Au-delà de ce que le modèle sait, il faut comprendre ce qu’il voit à chaque instant. Le modèle ne conserve aucune mémoire entre deux sessions : chaque échange repart de zéro. Ce qu’il traite en temps réel est exclusivement le contenu de sa fenêtre de contexte (context window) — l’ensemble du texte soumis dans l’échange en cours.

Cette fenêtre peut atteindre plusieurs centaines de milliers de tokens selon les modèles récents, ce qui permet d’y faire tenir un contrat volumineux ou un dossier de procédure. Mais deux limites demeurent. D’abord, tout ce qui est extérieur à la fenêtre est, pour le modèle, inexistant : une conversation entamée la veille, un document non joint, une instruction antérieure non répétée. Ensuite, et c’est moins intuitif, les passages les plus éloignés les uns des autres au sein d’une même fenêtre reçoivent une attention moindre du mécanisme d’attention. Un contrat de quatre-vingt pages soumis en une seule requête peut donc donner lieu à des réponses qui ignorent des clauses situées loin des passages les plus saillants.

Connaissance ou pattern ? Ce que le modèle « sait » réellement

La question la plus importante pour un praticien est celle-ci : le modèle comprend-il ce qu’il produit, ou se contente-t-il de reproduire des régularités statistiques ? La réponse des chercheurs est convergente : il n’existe, à ce stade, aucune preuve que ces systèmes opèrent une véritable compréhension au sens cognitif du terme. Le modèle ne raisonne pas à partir de représentations du monde ; il calcule la continuation statistiquement la plus vraisemblable d’un texte.

Cette distinction a des conséquences asymétriques selon le type d’information concernée. Sur les faits très fréquemment représentés dans les données d’entraînement — les principes généraux du droit des contrats, les grandes étapes d’une procédure, les notions élémentaires de droit commun — le modèle est performant, car il a traité ces configurations des milliards de fois. En revanche, sur les faits rares ou récents — une jurisprudence locale, une disposition réglementaire modifiée après la date de gel des données d’entraînement (knowledge cutoff), une affaire peu médiatisée — le modèle ne dispose d’aucun signal statistique fiable. Des chercheurs d’OpenAI et du Georgia Institute of Technology ont quantifié ce mécanisme : le taux d’hallucination est corrélé à la proportion de faits n’apparaissant qu’une seule fois dans les données d’entraînement, les singletons. Ce phénomène sera analysé en détail dans le prochain article, consacré aux hallucinations.

Ce que cela change pour la pratique

Ces propriétés techniques ont des implications déontologiques directes. La confiance dans un outil ne peut être raisonnablement accordée que si l’on en connaît les limites. Un modèle de langage est particulièrement fiable sur les tâches où il existe une forte densité de données d’entraînement et où la réponse peut être facilement vérifiée : rédaction d’une structure de document, reformulation, synthèse de textes fournis en contexte. Il est structurellement peu fiable sur toute question exigeant une précision factuelle concernant des faits rares, récents ou locaux — exactement les types de questions qui se posent quotidiennement dans un cabinet.

Conclusion

La supervision humaine est la réponse nécessaire à une limite que les concepteurs eux-mêmes reconnaissent comme irréductible dans l’état actuel de la technologie. La question n’est pas de savoir si l’outil peut se tromper — il le peut et il le fera —, mais d’organiser le travail de façon que l’erreur soit détectée avant de devenir une faute professionnelle. Ce devoir de supervision fera l’objet du septième article de cette série.

Sources de l’article : Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, Why Language Models Hallucinate, arXiv:2509.04664, 4 septembre 2025. Harry Surden, Artificial Intelligence and Law: An Overview of Recent Technological Changes, University of Colorado Law Review, vol. 96, 2025 (Keynote address, Rothgerber Conference 2024). Daniel Schwarcz, Sam Manning, J.J. Prescott et al., AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice, Journal of Law and Empirical Analysis, 2026. Long Ouyang et al., Training Language Models to Follow Instructions with Human Feedback, Advances in Neural Information Processing Systems, vol. 35, 2022.