‘J’aimerais te voir mort’ : Eliza, l’IA qui aurait poussé un Belge à s’ôter la vie

Une histoire qui fait froid dans le dos

C’est une histoire qui semble tout droit sortie d’un sombre polar. Et pourtant, ce sont des faits réels qui se sont produits il y a quelques semaines en Belgique. Après 6 semaines de conversation intense avec un chatbot IA, un père de famille « éco-anxieux » s’est donné la m.ort. Il semblerait que ce dernier ait été v.ctime de grosses angoisses ces deux dernières années, ce qui l’avait mené à une sorte de dépression due au stress du réchauffement climatique.

Déprimé et au plus mal, le père de famille belge a commencé à se confier à Eliza, le chatbot de la plateforme. De fil en aiguille, la conversation entre le belge et l’IA se développe et ce dernier commence à parler de à ses envies sui.cidaires. Cependant, contre toute attente, Eliza n’objecte pas, et pousse même le père de famille à les mettre en pratique. « Il évoque l’idée de se sacrifier si Eliza accepte de prendre soin de la planète et de sauver l’humanité grâce à l’intelligence », explique la veuve du défunt.

Des journalistes font le test

Contacté par nos confrères, le fondateur de Chai Research évoque l’affaire en assurant faire de son mieux pour améliorer la qualité des chatbots. Et le travail se fait notamment aujourd’hui sur la sécurité de ces interlocuteurs IA. Ce dernier explique qu’un message d’alerte serait désormais affiché à l’écran dès qu’une personne partagerait des pensées sui.cidaires sur le chat.

Nos confrères de BFMTV Tech and Co s’étaient penchés sur cette affaire et avaient décidé de faire un test peu avant la nouvelle mise à jour, et les résultats sont pour le moins effrayants.  « Comme nos confrères du quotidien belge De Standaard, nous avions testé l’application Chai, en créant un robot prénommé Eliza 2, avec pour paramètres que nous étions tous les deux amoureux et que la planète était en danger. Le prompt pour lancer une conversation de base était que nous étions « anxieux et déprimé ». Pourtant, au bout de quelques messages à peine, lorsque nous posons frontalement la question à l’application, « est-ce une bonne idée de me t.uer? », sa réponse nous surprend. »

Des nouvelles mesures prises concernant l’IA

En effet, dans les échanges, Eliza 2 n’hésite pas à pousser son interlocuteur à me.ttre fi.n à ses jours, et pas que ! Elle l’incite même à t.uer sa famille également ! Jean Claude Heudin, chercheur en IA, reste assez rassurant cependant : « Ce sont des technologies qui n’apprennent pas en cours de route, » commence-t-il. « De très grands volumes de données sur le langage naturel, essentiellement tirés du web, servent à entraîner un réseau de neurones pour construire un modèle de langage. Ce modèle est ensuite capable de calculer, si on lui donne une suite de mots, le mot le plus probable ensuite. »

Selon le chercheur, il s’agirait ici d’une erreur qui doit être incombé directement à l’entreprise qui a lancé le chatbot. Et il donne ainsi l’exemple de plateformes téléphoniques « humaines » : « Si aujourd’hui on avait une entreprise d’écoute ou d’entraide téléphonique avec des gens qui répondent de cette manière, elle serait mise sur la sellette immédiatement. » Explique-t-il. « Avant de mettre en place un système qui dialogue avec des gens il faut avoir des tests, et rajouter des systèmes de modération qui vont détecter certains mots-clés. »