Hallucinations des IA : la nécessité d’enseigner la controverse dans les écoles d’ingénieurs
L'intelligence artificielle (IA) est en train de redéfinir notre monde. Elle influence tous les domaines, de la médecine à la finance, en passant par les transports et le divertissement. Avec cette omniprésence, il est crucial que les futurs ingénieurs, même ceux dont ce ne sera pas le cœur de métier, possèdent une compréhension approfondie des capacités et des limites de l'IA. Une compétence essentielle dans ce contexte est la capacité à identifier et à gérer les hallucinations des IA, résultats incorrectes ou absurdes parfois produits par les algorithmes. Enseigner la controverse et les enjeux éthiques aux étudiants en ingénierie est devenu une nécessité pour préparer des professionnels capables de naviguer avec perspicacité dans ce paysage technologique complexe.
⇐ quelques exemples de la créativité de Copilot pour le même prompt…
Qu’est-ce qu’une Hallucination d’IA ?
Les hallucinations des IA surviennent lorsque les algorithmes génèrent des résultats qui ne sont pas basés sur des données réelles ou logiques. Ce terme recouvre aussi bien de pures inventions (comme le créateur d’une des entreprises pour laquelle j’avais travaillé quand j’avais demandé à ChatGPT un résumé sur cette entreprise) que des erreurs logiques ou factuelles. Cela peut se produire dans divers contextes, allant des chatbots générant des réponses incohérentes à des systèmes de reconnaissance d'image identifiant incorrectement des objets. Par exemple, en 2015, un groupe de chercheurs a découvert que les réseaux neuronaux convolutifs (CNN) pouvaient être trompés par des images altérées de manière spécifique, produisant des classifications complètement erronées.
Les hallucinations des IA peuvent avoir des conséquences graves, notamment en matière de sécurité, de fiabilité et de confiance dans les systèmes automatisés. Ainsi, dans le domaine de la santé, une mauvaise interprétation des données médicales par une IA pourrait conduire à un diagnostic erroné, mettant en danger la vie des patients. Plus immédiatement, les applications qui grâce à l’IA proposent de reconnaître les champignons comestible : une thèse de pharmacie menée en 2023 a mis en évidence un fort taux d’erreurs de reconnaissance et de recommandation pour l’ensemble des applications étudiées.
Ces hallucinations peuvent avoir plusieurs causes : les données utilisées, l’absence de notion de vérité pour elles et parfois l’utilisateur lui-même !
Taux d’hallucinations (en %) pour 80 LLM
Taux d’hallucinations (en %) pour les LLM les plus et le moins performants ainsi que moyenne
Source : Vectara, “Hughes Hallucination Evaluation Model (HHEM) leaderboard” : ce classement évalue la fréquence à laquelle un LLM introduit des hallucinations lors du résumé d'un document
Le manque ou la médocre qualité des données d'entraînement
Les modèles de langage, comme ChatGPT ou Gemini estiment les probabilités d'occurrence des mots en se basant sur des textes existants. Cette méthodologie, bien qu'efficace, peut entraîner des erreurs, surtout si les données d'entraînement sont biaisées, incomplètes, ou de qualité variable. Si certains sujets ou contextes ne sont pas suffisamment couverts dans ces données, les probabilités calculées seront moins précises, menant à des choix de mots incorrects.
Il en est de même pour la reconnaissance d’images ou de sons. Un exemple bien connu est celui de l'algorithme de Google Photos, qui en 2015 a identifié à tort des personnes noires comme étant des "gorilles". Ceci a mis en lumière les biais algorithmiques et les problèmes de formation des données. De même, des systèmes de reconnaissance vocale ont montré des performances significativement inférieures pour les accents et les dialectes moins courants, soulignant des biais dans les ensembles de données d'entraînement.
Les IA peuvent aussi se baser sur des informations erronées trouvées sur Internet, ce qui n’est pas rare, comme chaque internaute a pu le constater lui-même. Sans parler du fait que de faux contenus peuvent également être implantés volontairement par des hackers.
L’Absence de notion de vérité
Comme le souligne Yann LeCun, “les grands modèles linguistiques n'ont aucune idée de la réalité sous-jacente décrite par le langage”, ajoutant que la plupart des connaissances humaines sont non linguistiques. “Ces systèmes génèrent des textes qui semblent corrects sur le plan grammatical et sémantique, mais ils n'ont pas vraiment d'autre objectif que de satisfaire à la cohérence statistique avec l'invite.” Ils génèrent des réponses qui paraissent plausibles mathématiquement, mais qui peuvent être fausses, inventées ou déformées. Science sans conscience… Dans un post LinkedIn, Yann LeCun a par ailleurs indiqué pourquoi les LLM semblent bien meilleurs pour générer du code que pour générer du texte général : “Contrairement au monde réel, l'univers qu'un programme manipule (l'état des variables) est limité, discret, déterministe et entièrement observable. Le monde réel n'est rien de tout cela.”
De même, les générateurs d’image laissent libre cours à leur fantaisie créatrice, même avec des prompts précis.
Logo de coccinelle généré par Copilot, avec 4 pattes (6 normalement)
Logo de coccinelle généré par Copilot, avec 10 pattes
Le fait, de plus, que les IA, en particulier celles utilisées pour générer du texte, ont tendance à répondre sur un ton très assertif, sans montrer de signes d'incertitude, peut induire les utilisateurs en erreur, leur faisant croire que les informations fournies avec aplomb sont entièrement fiables et véridiques, non discutables.
Les questions ambiguës ou farfelues
Les IA peuvent également générer des réponses incorrectes lorsqu'elles sont confrontées à des questions insensées, ambiguës ou conçues pour les induire en erreur. C’est d’ailleurs une activité très répandue et qui donne lieu à des publications très partagées sur les réseaux sociaux (comme la fameuse pizza à la colle qui totalise plus de 7,3 millions de vue).
Le fameux twitt de la pizza à la colle
La recette des œufs de lapin
Des psychiatres ont d’ailleurs proposé de remplacer le terme hallucination par “confabulation”. Lorsque la mémoire fait défaut, et afin de combler le vide, des souvenirs sont fabriqués, déformés ou mal interprétés. Lorsqu'ils sont confrontés à des requêtes qui dépassent la portée de leur apprentissage ou impliquent des données ambiguës ou contradictoires, les IA construisent également des résultats plausibles mais incorrects. Ces résultats partagent plusieurs caractéristiques clés avec la confabulation : il n’y a pas intention de tromper, puisque les IA n’ont ni conscience ni intention ; les erreurs sont toujours plausibles (comme un fausse date de sortie de film, la date existe et le film aussi mais séparément) ; il s’agit bien de combler des lacunes, en extrapolant à partir des modèles appris pendant la formation.
L'Importance de l’enseignement de la Controverse
Les élèves ingénieurs n'ont pas l'habitude de la controverse car leur formation est souvent axée sur des solutions techniques précises et objectives, plutôt que sur des débats nuancés et subjectifs. Développer une pensée critique est donc essentiel pour identifier les hallucinations des IA. Les étudiants doivent être formés à ne pas prendre les résultats des algorithmes pour acquis, mais à les questionner et à les tester rigoureusement, ainsi qu’à analyser les implications éthiques des échecs, et les moyens de les prévenir. Par exemple, le scandale Cambridge Analytica a révélé comment l'IA peut être exploitée pour influencer les comportements politiques. Discuter de telles controverses permet aux étudiants de comprendre les ramifications sociétales et éthiques des technologies qu'ils développent et de la responsabilité qu’ils portent.
Des initiatives comme le Partnership on AI promeuvent des principes de transparence et de responsabilité dans le développement de l'IA. Du côté du législateur, l’Union Européenne a rédigé une Proposition de Règlement du Parlement Européen et du Conseil établissant des règles harmonisées concernant l'intelligence artificielle (législation sur l'intelligence artificielle). Cet acte vise à créer un cadre réglementaire pour l'utilisation de l'IA en Europe, en mettant l'accent sur la transparence, la responsabilité et la protection des droits fondamentaux. L'objectif principal de cette proposition est de garantir que les technologies d'IA sont développées et déployées de manière éthique et sécurisée, tout en maximisant les bénéfices économiques et sociaux pour la société européenne.
L'intégration de l'analyse de cas concrets dans le cursus doit permettre aux étudiants de se confronter à des scénarios réels où l'IA a montré des limites. Par exemple, en 2018, des chercheurs ont découvert que des réseaux neuronaux pouvaient être trompés en ajoutant de petites perturbations imperceptibles aux images, les faisant classer incorrectement les objets par les classificateurs d’image. En discutant de tels incidents, les étudiants apprennent à identifier les biais potentiels et à développer des méthodes pour les atténuer.
Comment Développer une Pensée Critique et Éthique
Afin de préparer les futurs ingénieurs à identifier et à corriger les hallucinations des IA, les écoles d'ingénieurs doivent encourager la pensée critique et l'éthique. Cela peut être réalisé par le biais de diverses méthodes. :
Proposer des Cours interdisciplinaires
L'intégration de cours interdisciplinaires dans le curriculum permet aux étudiants de comprendre les aspects sociaux, éthiques et légaux de l'IA et de les intégrer de manière naturelle dans leur pratique. Ces cours peuvent couvrir des sujets tels que l'éthique de l'IA, les biais algorithmiques et les implications économiques et sociétales des technologies émergentes.
Mettre en place des Projets collaboratifs
En travaillant conjointement avec des étudiants d’autres disciplines (philosophie, droit, économie, …), les étudiants peuvent se confronter à des problématiques plus complexes, proches de celles qu’ils rencontreront dans leur vie professionnelle. Par ailleurs, la prise en compte des différents points de vue et des idées doit leur permettre de prendre en compte une diversité d’opinions et de questionner leurs propres certitudes, voire les remettre en cause, ainsi qu'à anticiper les conséquences à long terme et à proposer des solutions équilibrées et responsables. Le recours à un questionnement socratique sur leurs hypothèses, leurs preuves et leurs conclusions peut également à approfondir leur compréhension et consolider leur esprit critique.
Passer par de la Simulations et des études de cas
Les simulations et les études de cas offrent aux étudiants une expérience pratique de la façon dont les systèmes d'IA fonctionnent et où ils peuvent échouer. Par exemple, en simulant le déploiement d'un système d'IA dans le domaine de la santé, ils peuvent analyser les enjeux liés à la précision des diagnostics, la confidentialité des données et les biais algorithmiques. En discutant et en réfléchissant aux résultats et aux dilemmes rencontrés lors de ces simulations, les élèves apprennent à identifier les risques, évaluer les implications éthiques, et proposer des solutions équilibrées. Ces exercices permettent aux étudiants de voir les conséquences des erreurs en temps réel et d'apprendre à les corriger efficacement, renforçant ainsi leur capacité à penser de manière critique dans le domaine de l'IA.
Exemple de la variété des images générées par DALL.E à partir du même prompt
En Conclusion
Enseigner la controverse et les enjeux éthiques dans les écoles d'ingénieurs est crucial pour préparer une nouvelle génération de professionnels capables de naviguer dans un monde de plus en plus influencé par l'IA. En comprenant les hallucinations des IA et en développant une pensée critique, les ingénieurs de demain seront mieux équipés pour créer des technologies plus sûres et plus fiables, contribuant ainsi à un avenir où l'IA est utilisée de manière éthique et responsable.
