Pourquoi les ChatBots hallucinent-ils ?

Thu, 05 Oct 2023 10:28:23 +0000

Ceux d’entre vous qui ont utilisé ChatGPT, Google Bard ou des outils similaires, ont probablement constaté que parfois ces chatbots inventent les réponses à nos questions. C’est ce que l’on appelle communément les hallucinations.

Pour comprendre pourquoi elles se produisent, la première chose est de comprendre à un niveau très basique comment ces chatbots fonctionnent. L’élément fondamental est constitué par les modèles de langage (LLMs, large language models). Ces modèles sont entraînés sur de grandes quantités de données, telles que des pages web sur Internet et des livres du domaine public, entre autres. La tâche des LLMs est d’essayer de prédire le mot ou la séquence de mots suivante à partir d’un texte que l’utilisateur saisit. Par exemple, si nous posons une question, le modèle prédit les mots juste après cette question. Comme le modèle a été entraîné sur des millions de documents, il est probable que dans un (ou plusieurs) de ces documents, il ait vu une question similaire, accompagnée de la réponse. Grosso modo, le LLM fonctionne comme un modèle statistique : d’abord, pendant son entraînement, il apprend la probabilité que deux mots ou plus aillent ensemble, puis lors de son utilisation, il utilise cette probabilité pour prédire la prochaine séquence de mots ;

Chatgpt on Fractional CTO

Pourquoi les ChatBots hallucinent-ils ?