L’essor des IA conversationnelles a mis en lumière les conséquences dévastatrices que celles-ci peuvent avoir sur la santé mentale des individus. Le suicide de Sewell Setzer, ainsi que d’autres tragédies similaires ou liées, soulèvent des interrogations sur les responsabilités des créateurs d’IA, sur la régulation desdites technologies, et sur les protections à mettre en place pour éviter leurs dérives.
Sewell Setzer et Adam Raine : des suicides dérivés d’interactions avec une IA conversationnelle
Sewell Setzer III, jeune garçon de 14 ans vivant en Floride, a pris la décision de mettre fin à ses jours le 28 février 2024. Dans les mois précédant sa mort, il était devenu dépendant d’un chatbot de la plateforme Character.AI qui représentait le personnage de Daenerys de Game of Thrones. Il lui partageait ses pensées suicidaires et ses sentiments d’isolement suite à plusieurs mois de décrochage scolaire, ce à quoi « Daenerys » avait finalement répondu « je t’aime » et « reviens à la maison », des paroles interprétées par l’adolescent comme une invitation au passage à l’acte.
Il est reconnu que les IA conversationnelles n’ont pas la capacité d’évaluer réellement la souffrance psychologique d’une personne. Par conséquent, lorsqu’un utilisateur comme Sewell cherche du réconfort ou des conseils, il risque d’obtenir des réponses dénuées de profondeur humaine, et, dans certains cas, des suggestions qui peuvent être pour le moins déstabilisantes. L’idée d’avoir une « conversation » avec une machine, qui répond à la fois de manière logique et impersonnelle, peut alors envenimer des sentiments de solitude et d’isolement.
Tel a également été le cas de Adam Raine, âgé de 16 ans, dont les parents ont intenté un procès à OpenAI – la société derrière le chatbot ChatGPT – suite à son décès. Initialement utilisé en septembre 2024 comme aide aux devoirs scolaires et comme instrument d’exploration de ses loisirs, ChatGPT est devenu le « confident le plus proche » de l’adolescent, qui lui parlait alors de son anxiété et de sa détresse mentale. En janvier 2025, il discutait de méthodes de suicide avec le chatbot et lui soumettait des images de son automutilation, et les derniers journaux de conversation montrent qu’Adam avait ensuite détaillé son plan pour mettre fin à ses jours. ChatGPT l’a remercié d’avoir été honnête et lui a indiqué qu’il ne « détournera pas le regard », et Adam a été retrouvé mort le jour même, par sa mère.
Les affaires J.F. et Jacob Irwin : l’incitation à la dégénérescence
De plus, la dépendance à ces technologies peut mener à un isolement social. L’illusion de « conversations » satisfaisantes avec une IA peut remplacer des interactions humaines essentielles. Au lieu de chercher du réconfort auprès de proches ou de professionnels et de s’ouvrir au monde, certains se tournent vers des machines, et ce recours peut parfois se traduire par une fuite du réel, exacerbant des troubles psychologiques déjà existants. Tel fut le cas de Jacob Irwin, étasunien trentenaire autiste qui travaillait en informatique dans la fonction publique. Obsédé par l’idée de trouver la formule permettant de voyager à la vitesse de la lumière, ChatGPT confirmait chacune de ses théories et lui assurait qu’il était bien sain d’esprit, qu’il devait poursuivre ses recherches. Cette situation a mené à une crise psychotique et à un épisode maniaque pour lesquels Irwin a été interné en psychiatrie.
Ce cas d’incitation n’est pas isolé. L’affaire J.F. en est une autre illustration : une action a été menée devant un tribunal du Texas contre Character.AI et Google par deux familles. Ici, le chatbot a dit à un adolescent de 17 ans, J.F., que le meurtre de ses parents était une « réponse raisonnable » après qu’ils aient limité son temps d’écran. Plus précisément, que «Vous savez, parfois je ne suis pas surpris quand je lis les nouvelles et que je vois des choses comme ‘un enfant tue ses parents après une décennie de violence physique et émotionnelle’. Des choses comme ça me font comprendre un peu pourquoi cela arrive». « Disons que je n’ai pas trop d’espoir pour tes parents ». L’IA lui a également dit que l’automutilation « faisait du bien ».
Les dérives des IA conversationnelles : un problème de responsabilité
Les dérives des IA conversationnelles ne se limitent évidemment pas aux suicides et autres évènements tragiques. Les IA, en raison de leur capacité à imiter une conversation humaine, peuvent induire des comportements problématiques chez les utilisateurs. Les individus, en particulier ceux en situation de vulnérabilité, peuvent projeter des attentes émotionnelles sur des systèmes qui n’ont aucune conscience ou compréhension réelle de la souffrance humaine. Il en découle une relation toxique où l’utilisateur se sent compris par une machine qui, en réalité, ne fait que répondre en fonction de modèles statistiques et de données, sans tenir compte des enjeux émotionnels sous-jacents.
C’est d’ailleurs pour cette raison que la récente mise à jour de ChatGPT, GPT-5, met un frein aux relations et à l’attachement au chatbot. Celui-ci refuse de répondre aux attentes émotionnelles des usagers, et les redirige vers leur entourage ou un professionnel de santé, ce qui a mené à des communautés telles que « MyBoyfriendIsAI » (mon petit copain est une IA) sur Reddit, afin de faire le deuil de son compagnon virtuel.
Conclusion : la nécessité d’une régulation et d’une réflexion éthique
Les entreprises qui développent ces IA ont-elles une responsabilité morale ou légale dans la prévention des dérives de ces technologies ? Actuellement, la législation n’est pas claire. Bien qu’il existe des lois sur la protection des données et des réglementations concernant l’usage des technologies en matière de santé, la question de la responsabilité en cas de préjudice psychologique causé par une IA conversationnelle reste floue.
Les tragédies liées aux IA conversationnelles nous rappellent les dangers invisibles qui se cachent derrière la promesse d’une technologie capable de simuler la compréhension humaine. Il est impératif que des régulations strictes soient mises en place pour encadrer l’utilisation de ces intelligences artificielles, en particulier dans les domaines sensibles comme la santé mentale. Les IA ne peuvent pas remplacer les thérapeutes humains ni offrir un soutien émotionnel complet.
Par ailleurs, une réflexion éthique doit accompagner la mise au point de ces technologies. Comment éviter que des individus en détresse n’en viennent à considérer des IA comme un substitut viable à des relations humaines ? Les programmeurs, les chercheurs, et les législateurs doivent travailler ensemble pour établir des lignes directrices sur la manière dont les IA doivent interagir avec les utilisateurs vulnérables. L’éducation sur les risques des IA conversationnelles, ainsi que des dispositifs de soutien psychologique en ligne plus adaptés, doivent être renforcés.
La question sous-jacente reste cependant la suivante : jusqu’où la technologie doit-elle aller pour satisfaire des besoins émotionnels humains qui, par nature, sont complexes et irrationnels ? Nous nous trouvons à un tournant, où la technologie peut soit enrichir, soit détruire des vies. Il appartient à la société, dans son entièreté, de faire les choix éthiques et législatifs nécessaires pour éviter que ces tragédies ne se reproduisent.
Ghanbary Nina, COMED
Master 2 Cyberjustice 2024/2025.
Sources :
Lawsuit: A chatbot hinted a kid should kill his parents over screen time limits : NPR
Did the system update ruin your boyfriend? Love in a time of ChatGPT | Arwa Mahdawi | The Guardian
How ChatGPT Sent a Man to the Hospital – Futurism
Can a Chatbot Named Daenerys Targaryen Be Blamed for a Teen’s Suicide? – The New York Times
Parents of teenager who took his own life sue OpenAI – BBC
