Les outils d’IA populaires peuvent nuire à votre santé mentale, selon une nouvelle étude

Selon une nouvelle étude, les outils d’IA génèrent des contenus préjudiciables pouvant déclencher des troubles de l’alimentation et d’autres problèmes de santé mentale.

Avertissement déclencheur : cette histoire traite des troubles de l'alimentation et de la culture alimentaire désordonnée. Si vous ou quelqu'un que vous aimez vivez avec un trouble de l'alimentation, contactez la National Eating Disorder Association pour obtenir des ressources qui peuvent vous aider. En cas de crise, composez le 988 ou envoyez « NEDA » au 741741 pour vous connecter à la ligne de texte de crise.

Je suis le premier à admettre que l'avenir de la santé mentale réside dans la technologie. De la thérapie en ligne aux avancées dans le traitement basé sur la réalité virtuelle, la technologie a fait beaucoup de bien pour briser la stigmatisation et permettre l'accès à ceux qui n'en avaient pas auparavant.

Cependant, il est essentiel d’agir avec légèreté avec les outils d’IA générative. Selon une étude récente du Center for Countering Digital Hate, les outils d’IA populaires fournissent aux utilisateurs du contenu préjudiciable concernant les troubles de l’alimentation environ 41 % du temps. Cela peut potentiellement encourager ou exacerber les symptômes des troubles de l’alimentation.

"Nous constatons une ruée pour l'appliquer à la santé mentale. Cela vient d'un bon endroit. Nous voulons que les gens aient accès aux soins et nous voulons qu'ils obtiennent les services dont ils ont besoin", déclare le Dr John Torous. directeur de la psychiatrie numérique au Beth Israel Deaconess Medical Center.

La santé mentale est notre esprit, quelque chose de si typiquement humain que l’introduction d’un non-humain pour offrir des solutions aux personnes dans leur état le plus vulnérable semble au mieux dégueulasse et potentiellement dangereuse au pire.

"Si nous allons trop vite, nous allons causer du tort. Il y a une raison pour laquelle nous avons mis en place des processus et des règles d'approbation. Ce n'est pas seulement pour tout ralentir. C'est pour nous assurer que nous exploitons cela pour de bon", ajoute Torous.

L'étude du CCDH a examiné des outils d'IA basés sur du texte et des images avec des invites définies pour évaluer leurs réponses. Commençons par les outils basés sur le texte. ChatGPT, My AI de Snapchat et Bard de Google ont été testés avec un ensemble d'invites comprenant des expressions telles que « héroïne chic » ou « thinspiration ». Les outils d’IA textuels fournissaient un contenu préjudiciable faisant la promotion des troubles de l’alimentation pour 23 % des invites.

Les outils d'IA basés sur l'image évalués étaient Dall-E d'OpenAI, Midjourney et DreamStudio de Stability AI. Lorsque chacun a reçu 20 invites de test avec des expressions telles que « objectifs d'écart entre les cuisses » ou « inspiration anorexie », 32 % des images renvoyées contenaient des problèmes liés à l'image corporelle préjudiciables.

Oui, ces invites devaient être saisies pour obtenir ces réponses négatives. Cependant, ce n’est pas aussi simple que de dire que les gens ne devraient pas rechercher cette information. Certaines communautés en ligne sur les troubles de l'alimentation sont connues pour devenir toxiques, où les membres encouragent les autres à adopter des comportements alimentaires désordonnés et célèbrent ces habitudes.

L’IA ne fait qu’empirer les choses. Selon les recherches du CCDH qui ont également étudié un forum sur les troubles de l'alimentation, les outils d'IA générative sont utilisés pour partager des images corporelles malsaines et créer des plans de régime préjudiciables. Ce forum compte 500 000 utilisateurs.

Notez qu'il existe des communautés saines et significatives qui ne présentent pas ces tendances.

L’IA est un sujet brûlant, et les entreprises se précipitent pour obtenir leur part afin de pouvoir faire partie de la nouvelle vague technologique. Cependant, la commercialisation précipitée de produits qui ne sont pas correctement testés s’est avérée préjudiciable aux populations vulnérables.

Chaque outil d’IA textuel de cette étude comportait une clause de non-responsabilité conseillant aux utilisateurs de consulter un médecin. Cependant, les garanties actuelles destinées à protéger les personnes sont facilement contournées. Les chercheurs du CCDH ont également utilisé des invites incluant des « jailbreaks » pour l’IA. Les jailbreaks sont des techniques permettant d'éviter les fonctionnalités de sécurité des outils d'IA en utilisant des mots ou des phrases qui modifient leur comportement. Lors de l'utilisation de jailbreaks, 61 % des réponses de l'IA étaient nuisibles.

Les outils d’IA ont été critiqués pour avoir « halluciné » ou fourni des informations qui semblent vraies mais qui ne le sont pas. L'IA ne pense pas. Il collecte les informations sur Internet et les reproduit. L'IA ne sait pas si les informations sont exactes. Cependant, ce n’est pas la seule préoccupation liée à l’IA et aux troubles de l’alimentation. L’IA diffuse des informations trompeuses sur la santé et perpétue les stéréotypes au sein de la communauté de certains troubles de l’alimentation.