Les outils d’IA générative sont incapables d’admettre leur ignorance, ce qui induit des hallucinations problématiques. Alors, avant de prendre une décision fondée sur la réponse d’une IA, analysez cette réponse en vous demandant quelle en est la source, de quand l’information date, si d’autres sources la corroborent, si elle est cohérente et si elle n’est pas trop belle pour être vraie.
« Ah, l’IA l’a dit, donc c’est vrai. » Il est tentant de considérer que ce que les IA disent est valide. Après tout, elles mentent et inventent avec tellement d’aplomb. Mais si vous acceptez naïvement tout ce qu’elles vous racontent, vous jouez à la roulette russe intellectuelle. Et vous risquez de manger des cailloux. Ou de la colle. Ou toute autre chose indigeste hallucinée par un modèle de langage.
Pour éviter de vous faire mener par le bout du nez par un robot, inutile d’obtenir un doctorat en data science. Il vous suffit d’une dose raisonnable de scepticisme et de quelques questions pertinentes.
Quelle est la source ?
C’est le premier réflexe de tout esprit critique. L’IA vous affirme un fait ? Demandez-lui d’où elle le sort. Les modèles actuels intègrent de plus en plus de citations et de références, mais c’est parfois un mirage.
Comme le rappelle fort justement le guide de vérification de l’université d’État de l’Ohio (Ohio State University), il faut impérativement aller visiter les sites sources fournis pour s’assurer qu’ils sont fiables et dignes de confiance. Cela vous permet aussi de vérifier que la source citée par l’IA n’est pas un obscur forum ou, pire, un site parodique ou un forum sur lequel les utilisateurs racontent n’importe quoi (sciemment ou non). Enfin, vérifier les sources permet de confirmer que leurs informations sont identiques à celles que la machine vous a fournies. En effet, dans ma pratique, j’ai souvent constaté que même lorsque la source est crédible, elle ne raconte pas nécessairement la même chose que ce que l’IA vous a dit.
Lorsque la machine ne fournit pas de source, c’est mauvais signe. Dans ce cas, demandez-lui de vous en fournir et vérifiez-les.
Quand cette information a-t-elle été produite ?
Le temps passe vite, même pour les algorithmes. Les bases de données sur lesquelles les IA sont entraînées ont des limites temporelles précises, et leurs recherches en ligne peuvent parfois passer à côté des toutes dernières mises à jour. Toujours selon l’université d’État de l’Ohio, vérifier la date de publication des données ou de la source est une étape non négociable. Une information vraie en 2023 peut être obsolète ou contredite aujourd’hui.
Soyez particulièrement méfiant vis-à-vis des sujets qui semblent stables dans le temps. Une loi fiscale peut avoir changé sans que l’IA le sache.
Est-ce vérifiable ailleurs ?
On le sait, l’intelligence artificielle peut manquer de nuance, mal interpréter des données, spéculer, omettre d’importants détails, déformer la réalité, reproduire les biais de ses données d’entraînement… et plus simplement être utilisée pour disséminer de fausses informations.
Il ne faut donc jamais la croire sur parole. La règle d’or pour valider une information générée par IA est le recoupement. Dans ses conseils pour débusquer les pièges de l’IA, Microsoft (via ses fiches pratiques de fact-checking) recommande de réaliser une recherche indépendante en vérifiant l’information grâce à des sources d’autorité (sites gouvernementaux, publications académiques ou médias reconnus). Autant que possible, essayez toujours de trouver la source primaire, c’est-à-dire la personne ou le document à l’origine d’une information. Lorsque cette source n’est pas disponible, vérifiez que plusieurs sources secondaires crédibles corroborent l’information. Et si l’affirmation de votre IA n’apparaît nulle part, considérez-la comme une belle histoire de science-fiction.
Lorsque l’information est douteuse au premier coup d’œil, avant de vous lancer dans des recherches stériles, demandez à l’IA de confirmer ce qu’elle vient de vous dire. Si elle commence à nuancer lourdement ou à carrément changer d’avis entre la demande d’origine et la demande de confirmation, c’est très mauvais signe. Vous pouvez être quasiment certain qu’il s’agissait d’une hallucination.
Cette réponse est-elle cohérente avec ce que je sais déjà ?
Votre cerveau est un détecteur d’incohérence. Utilisez-le. Lorsque le résultat vous semble bizarre, c’est généralement qu’il l’est. La fiche d’évaluation critique de l’université de Newcastle recommande de se poser une question toute simple : les conclusions présentées correspondent-elles logiquement aux données ? L’argumentation tient-elle la route ? Si le texte de l’IA se contredit d’un paragraphe à l’autre ou si le raisonnement est bancal, faites confiance à votre instinct professionnel.
Vous pouvez tester le raisonnement de la machine en lui demandant « Quels sont les arguments contre ce que tu viens de m’affirmer ? ». Si elle démonte sa propre thèse en deux secondes avec de meilleurs arguments, vous avez bien fait de douter. Il est alors temps de creuser le sujet pour identifier les bonnes données et les conclusions logiques et pertinentes avec votre propre cerveau dont la puissance est bien supérieure à celle de l’IA. Je ne le répéterai jamais assez : l’intelligence artificielle n’est pas intelligente. C’est un outil statistique. Vous, en revanche, détenez le monopole de l’intelligence, alors faites-en bon usage.
Est-ce trop beau pour être vrai ?
Les modèles d’IA sont optimisés pour produire des réponses satisfaisantes. Pas nécessairement vraies, mais plausibles et satisfaisantes. Ils sont aussi programmés pour toujours fournir une réponse, ce qui les rend incapables d’admettre leur ignorance. D’après l’étude d’OpenAI « Why Language Models Hallucinate », c’est l’une des causes principales d’hallucination.
Dès lors, si l’IA semble régler un problème complexe en trois lignes magiques, si elle référence une étude qui répond exactement et en tous points à votre question, ou si elle confirme vos propres préjugés, méfiance. L’université de Newcastle recommande de traquer les biais flagrants et le manque de nuance dans les réponses générées. Une réponse trop lisse, dénuée de toute complexité ou nuance, cache souvent une simplification abusive ou une pure invention. Le monde réel est nuancé, mais l’IA ne le sait pas.
L’IA est un outil puissant et utile, à condition de ne pas lui déléguer votre jugement. Grâce à ces cinq petites questions, vous gardez le contrôle : vous vous assurez d’obtenir une information valide et vous évitez surtout de prendre de mauvaises décisions fondées sur… de pures hallucinations. La machine est votre exécutant. Vous êtes le cerveau .
