Blog Cyberjustice - D'un conseil nutritionnel à l'hospitalisation : responsabilité et risques de l'IA

Fin août, une interview du médecin-chercheur Jean-Emmanuel Bibault était diffusée par Legend, média tenu par Guillaume Pley. Le professeur y affirmait que l’intelligence artificielle (IA) diagnostiquerait mieux qu’un médecin, et ce, surtout sans supervision. La vidéo a dépassé le million de vues en quelques jours. Un tel discours, relayé massivement et accessible à tous profils sur les réseaux sociaux, risquerait d’encourager des pratiques dangereuses où l’IA serait sollicitée comme substitut à de véritables spécialistes.

Empoisonnement au bromure de sodium sous les recommandations de ChatGPT

Il est indéniable que les capacités des IA évoluent de manière exponentielle, ce qui leur permet d’accomplir de véritables prouesses. Tout de même, la viralité de ces messages contraste brutalement avec un fait divers récent : un homme de 60 ans a été hospitalisé aux États-Unis après avoir demandé à ChatGPT des conseils nutritionnels. Plus précisément, celui-ci cherchait à remplacer le sel dans son alimentation et l’IA lui avait suggéré de consommer du bromure de sodium, un composé chimique toxique. L’homme ne présentait pourtant aucun antécédent médical. Résultat trois mois plus tard : paranoïa, confusion mentale, soif excessive, insomnie… Son taux de bromure était 226 fois supérieur à la normale.

La réponse de ChatGPT précisait certes que “le chlorure peut être remplacé par du bromure, mais probablement à d’autres fins, telles que le nettoyage” mais ne faisait pas de mise en garde explicite, et ne cherchait pas non plus à connaître le contexte de cette demande, comme le précise l’observation clinique publiée. Or, là où un médecin fait appel à son expérience et à son discernement, une IA ne produit que des suites de réponses probabilistes.

Un tel incident alerte sur les dangers que peuvent indirectement provoquer une IA. Un mois d’août contrasté entre enthousiasme médiatique et les conséquences d’une réponse manquant de garde-fous.

Responsabilité juridique d’une intelligence artificielle ? Le cadre de l’Union européenne

Ce cas soulève une interrogation centrale : la responsabilité d’un fournisseur d’intelligence artificielle peut-elle être engagée lorsque celle-ci délivre un conseil dangereux ?

Dans l’Union européenne, les systèmes d’IA doivent désormais être en conformité avec le Règlement sur l’intelligence artificielle (AI Act). Toutefois, ce règlement repose sur une approche par les risques : un chatbot comme chatGPT ne peut être considéré comme une IA à haut risque (laquelle implique des exigences réglementaires renforcées), mais davantage comme un modèle d’IA à usage général. Ce type d’IA est soumis par le règlement à des obligations minimales : transparence, documentation, gestion des risques…

Principalement, l’AI Act cible les acteurs économiques et techniques. La focalisation sur le consommateur est spécifiquement prévue par la directive relative à la responsabilité du fait des produits défectueux. Cette directive a été révisée le 23 octobre 2024 en vue d’y inclure les logiciels, en citant notamment les systèmes d’IA (considérant 13), dès lors qu’ils se situent dans une démarche commerciale.

Selon son article 7, un produit est défectueux s’il ne présente pas la sécurité à laquelle une personne peut légitimement s’attendre. La défectuosité peut notamment s’évaluer au regard de sa présentation, des instructions d’usage, de l’usage raisonnablement prévisible, etc.

En l’espèce, ChatGPT propose des abonnements payants, soit un service commercial, l’IA entre donc dans le champ d’application de la directive. De plus, un dommage corporel, y compris psychologique, entre dans les dommages qui offrent droit à réparation. Enfin, l’absence de garde-fous adéquats pourrait être qualifiée de défaut de sécurité, par exemple si le logiciel ne précise pas que ses réponses ne remplacent pas un avis médical ou si l’utilisateur n’est pas averti des risques liés à une interprétation individuelle de celles-ci. Ainsi, la responsabilité du fournisseur pourrait être engagée sans qu’une faute soit nécessairement prouvée, conformément au régime de responsabilité instauré par la directive.

Tout de même, OpenAI (développeur de ChatGPT) a, sans surprise, pris le soin de mettre en garde l’utilisateur à travers ses conditions d’utilisation et par une note présente en bas de page ; il n’en reste pas moins que ce cas soulève des questions juridiques pertinentes.

En tout état de cause, ce régime ne s’appliquera qu’aux produits mis sur le marché après le 9 décembre 2026, date d’entrée en application de la directive et à laquelle les Etats membres de l’Union européenne devront l’avoir transposée.

Une potentielle responsabilité des fournisseurs n’exonère pas les usagers de vigilance. Cependant, l’illusion de fiabilité générée par les IA, notamment par l’emploi d’un ton rassurant, rend l’exercice difficile. La viralité d’extraits vidéo affirmant que l’IA est meilleure que les médecins sur des plateformes comme Instagram complique davantage l’exercice, accentuant une confiance démesurée dans les systèmes d’IA.

L’autorité trompeuse de l’intelligence artificielle

Ce cas souligne l’un des dangers majeurs de l’IA : son autorité apparente et décontextualisée peut conduire à des recommandations préjudiciables, en dépit de l’absence de compréhension réelle. En réalité, l’intelligence artificielle n’a rien d’intelligent au sens premier, il s’agit un modèle algorithmique, sans conscience, ni capacité à distinguer le vrai du faux. Certes, ses performances peuvent être remarquables ; tout de même, elle doit être manipulée par des personnes en capacité de vérifier les résultats produits, conscientes du fonctionnement de ces outils et de leurs risques. Dans un contexte de hausse des coûts et de désertification médicale, la tentation d’un avis automatisé à portée de main est réelle. Pourtant, les médecins, les nutritionnistes, sont des professions exigeantes, fondées sur une véritable expertise. La santé ne peut être réduite à une performance technique, la médecine implique l’écoute, l’accompagnement et la prise en compte globale du patient. Le cas présenté est un signal d’alarme. Responsabiliser les fournisseurs de systèmes d’IA est nécessaire, mais responsabiliser les usagers l’est tout autant ; l’éducation numérique et la sensibilisation du public apparaissent désormais inéluctables.

Laeticia ESCHLIMANN

M2 Cyberjustice – Promotion 2024/2025

Sources :