Qu'est-ce qu'une hallucination d'un modèle de langage ?
Une hallucination d'un modèle de langage est une réponse formulée avec assurance, cohérente en apparence, mais fausse ou sans fondement dans les données de référence. Le terme ne décrit pas une panne : le modèle fonctionne exactement comme prévu, et produit malgré tout une affirmation inexacte. C'est cette normalité du phénomène qui le rend délicat, car rien dans la forme de la réponse ne signale l'erreur.
Le phénomène concerne aussi bien un grand modèle de langage (LLM, large language model), modèle massif de traitement du langage, qu'un petit modèle de langage (SLM, small language model), modèle compact de 3 à 20 milliards de paramètres dans le vocabulaire retenu sur ce site. Comprendre pourquoi il survient permet de choisir les leviers qui le réduisent, plutôt que de l'attendre ou de le nier.
Pourquoi un modèle de langage hallucine-t-il, au sens technique ?
Un modèle de langage hallucine parce que sa mécanique de base consiste à prédire le mot le plus probable compte tenu du contexte, pas à vérifier un fait. Le modèle optimise la vraisemblance de la suite de mots, ce qui produit un texte fluide même là où il ne dispose d'aucune information fiable. La plausibilité et l'exactitude sont deux propriétés distinctes, et le modèle n'optimise que la première.
Plusieurs facteurs techniques aggravent le phénomène. Les lacunes des données d'entraînement laissent des zones où le modèle comble par la statistique plutôt que par le savoir. L'absence de source à l'inférence, c'est-à-dire au moment où le modèle produit sa réponse, prive le texte de tout ancrage vérifiable. La quantification, qui réduit la précision numérique des poids du modèle pour l'alléger, peut accentuer les approximations si elle est poussée sans contrôle. Enfin, une requête ambiguë ou hors du domaine du modèle élargit l'espace des réponses plausibles mais fausses. La qualité des données de référence pèse ici directement : la norme ISO/IEC 25012:2008, qui décrit un modèle de qualité des données, nomme les propriétés (exactitude, complétude, cohérence, actualité) dont l'absence nourrit précisément ces approximations.
Un petit modèle de langage hallucine-t-il plus qu'un grand modèle ?
La question de savoir si un petit modèle de langage hallucine plus qu'un grand modèle n'a pas de réponse uniforme, et se traite tâche par tâche. Sur un sujet très ouvert et imprévisible, la masse de paramètres d'un grand modèle couvre davantage de cas, ce qui peut réduire les trous où naissent les hallucinations. Sur une tâche cadrée et ancrée sur des documents, un petit modèle spécialisé traite un périmètre net où le risque est plus facile à maîtriser.
Le facteur décisif n'est donc pas la taille seule, mais l'ancrage et la vérification qui entourent le modèle. Un grand modèle sans source hallucine sur ce qu'il ignore ; un petit modèle ancré sur les bons documents et vérifié reste dans son périmètre. La comparaison qualitative importe moins que l'architecture de fiabilité que l'on construit autour du modèle retenu.
Comment réduire les hallucinations d'un petit modèle de langage ?
Réduire les hallucinations d'un petit modèle de langage suppose d'agir sur l'ancrage, la vérification et la traçabilité, plutôt que d'attendre un modèle parfait. Traiter l'hallucination comme un risque à gérer, et non comme un défaut à nier, rejoint la logique du cadre de gestion des risques de l'intelligence artificielle du NIST (NIST AI 100-1, AI RMF 1.0), qui structure l'identification et la réduction des risques propres aux systèmes d'IA. Quatre leviers se combinent, et chacun traite une cause distincte.
Sourcer les réponses par la génération augmentée par récupération (RAG)
Qui ancre chaque réponse sur des documents récupérés au moment de la requête. Le modèle répond à partir d'un texte fourni, et non de sa seule mémoire.
Scorer la fiabilité de chaque réponse
Pour distinguer ce qui est solidement établi de ce qui l'est moins, et déclencher un contrôle là où le doute est fort.
Vérifier en plusieurs passes
En confrontant la réponse aux sources et en croisant les contrôles avant de la présenter.
Faire progresser le modèle et l'ancrage
Au fil des retours, en corrigeant les documents de référence et le cadrage des tâches où l'erreur se répète.
Sur la plateforme Optivalue.ai, qui édite ce site, cette architecture repose sur 5 couches, dont 7 vérifications anti-hallucination, et sur un score de confiance de 0 à 100 attaché à chaque réponse.
Comment se comparent les leviers de réduction des hallucinations ?
Les leviers de réduction des hallucinations se comparent sur ce que chacun corrige et sur ce qu'il laisse ouvert. Le tableau ci-dessous ne chiffre aucune performance : il oppose l'effet visé et sa limite.
| Levier | Ce que le levier corrige | Ce qu'il ne corrige pas seul |
|---|---|---|
| Ancrage documentaire (RAG) | le manque de source à l'inférence | une source elle-même erronée |
| Score de confiance | l'absence de signal sur la fiabilité | la cause de l'erreur |
| Vérification en couches | l'affirmation non confrontée aux sources | une lacune commune à toutes les passes |
| Entretien au fil des retours | l'erreur récurrente sur une tâche | une erreur inédite non encore observée |
La concession qui clarifie tout : là où l'hallucination reste tolérable
L'hallucination reste tolérable quand la réponse n'engage rien de vérifiable : un brouillon, une reformulation, une exploration de pistes que l'auteur relira de toute façon. Dans ces usages, une IA générative grand public rend le service attendu, et le risque d'une approximation est absorbé par la relecture humaine qui suit.
Reconnaître cette zone de tolérance est ce qui rend le reste sérieux. La ligne de partage tient à ce que la réponse engage : dès qu'elle nourrit une décision, une conformité ou une signature, ce n'est plus un sujet de fluidité, c'est un sujet de preuve. Sur ce terrain, l'ancrage, le score et la vérification cessent d'être des options et deviennent la condition d'usage.
Comment fiabiliser un petit modèle de langage face aux hallucinations ?
Fiabiliser un petit modèle de langage face aux hallucinations suit une procédure, pas une intuition. Les étapes ci-dessous se lisent dans l'ordre.
- Ancrer avant de générer. Fournir au modèle les documents de référence par RAG plutôt que de compter sur sa mémoire interne.
- Exiger la citation. Demander que chaque affirmation renvoie à sa source, pour rendre l'erreur repérable.
- Attacher un score. Associer un indice de confiance à la réponse, pour trier ce qui appelle un contrôle.
- Vérifier avant de présenter. Confronter la réponse aux sources en plusieurs passes avant de la remettre à l'utilisateur.
- Corriger la source, pas seulement la réponse. Quand une erreur se répète, remonter au document ou au cadrage fautif et le faire progresser.
Questions fréquentes
Peut-on supprimer complètement les hallucinations d'un modèle de langage ?
Les hallucinations d'un modèle de langage se réduisent fortement par l'ancrage documentaire, le score de confiance et la vérification, mais aucun dispositif ne garantit leur disparition totale. L'objectif est de rendre l'erreur repérable et rare sur les tâches qui engagent une preuve, pas de promettre une exactitude parfaite.
La génération augmentée par récupération (RAG) suffit-elle à empêcher les hallucinations ?
La génération augmentée par récupération réduit les hallucinations en ancrant la réponse sur des documents, mais elle ne suffit pas seule : si la source est erronée ou mal récupérée, l'erreur persiste. Elle se combine avec la vérification et le score de confiance pour être efficace.
Un modèle qui cite ses sources hallucine-t-il moins ?
Un modèle qui cite ses sources rend l'erreur repérable, car chaque affirmation renvoie à un document contrôlable. La citation ne supprime pas l'hallucination, mais elle transforme une réponse invérifiable en une réponse auditable, ce qui est décisif pour toute tâche de conformité.
La quantification augmente-t-elle les hallucinations ?
La quantification, qui allège le modèle en réduisant la précision numérique de ses poids, peut accentuer les approximations si elle est poussée trop loin. Menée avec mesure et contrôlée sur la tâche visée, elle allège le modèle en préservant la fiabilité.
Un score de confiance mesure-t-il la vérité de la réponse ?
Un score de confiance signale la solidité estimée d'une réponse, pas sa vérité absolue. Il sert à trier : un score bas déclenche un contrôle humain ou une vérification supplémentaire, là où un score élevé sur une réponse sourcée demande moins d'attention.