L’IA égale les jugements humains en santé mentale dans 80 % des tests

Un fil Reddit peut commencer par un symptôme et aboutir à quelque chose de plus profond : un conflit familial, l’isolement ou une autre cause profonde. À l’Université Victoria, le professeur associé Khandakar Ahmed et Saima Rani ont consacré deux ans à apprendre à une IA à repérer ces thèmes dans un million de fils Reddit liés à la santé. Lors de tests sur de nouvelles publications, PaLM 2 a égalé les jugements humains dans 80 % des cas.

L’équipe a d’abord constitué une base de données de récits de santé mentale. La psychiatre et professeure associée honoraire de l’Université de Melbourne Manjula O’Connor a classé manuellement 800 fils, en reliant le vocabulaire employé par les internautes aux catégories de causes profondes de Healthdirect Australia. Ces données vérifiées par des experts ont ensuite alimenté deux modèles d’IA, PaLM 2 et AutoML, qui ont évalué de nouveaux fils indépendamment des évaluateurs humains.

Les résultats n’étaient pas identiques. AutoML a égalé les évaluateurs humains dans 68 % des cas, contre 80 % pour PaLM 2. Les modèles ne se contentaient pas de rechercher une liste de symptômes : les chercheurs ont vérifié s’ils pouvaient repérer des thèmes émotionnels plus profonds et des causes possibles dans les propres mots des personnes. L’article est publié dans JMIR AI.

Concrètement, cette méthode pourrait offrir aux services de santé mentale un autre moyen de trier les récits entrants, de contribuer au dépistage et au triage, d’intégrer les patients, d’examiner leurs récits ou d’alimenter des services numériques. Elle pourrait aider les professionnels à hiérarchiser les besoins et à personnaliser la première étape des soins, mais l’étude présente ces usages comme des possibilités. Elle n’établit pas l’existence d’un système clinique déployé, et les chercheurs reconnaissent certaines limites.

La conclusion doit donc être mesurée : un modèle d’IA s’est aligné sur le jugement humain dans quatre cas de test sur cinq après avoir été entraîné sur des données vérifiées par des experts. L’équipe d’Ahmed a montré une piste de recherche pour analyser de grands volumes de récits personnels ; les organismes de santé devront encore déterminer comment ces systèmes se comportent au-delà de cette évaluation et comment ils peuvent s’intégrer aux soins réels.