Après avoir soumis des examens de médecine au logiciel ChatGPT avec plus ou moins de succès, des chercheurs se sont attelés à comparer les capacités d’empathie de cet agent conversationnel à celles de vrais professionnels de santé. On reproche souvent aux médecins une certaine froideur, notamment dans les annonces de diagnostic ou de décès. L’intelligence artificielle aurait-elle ce défaut ?
Pour le savoir, une équipe de recherche américaine a entrepris une étude, dont les résultats sont publiés dans le JAMA Network (Source 1).
Les chercheurs ont utilisé des questions publiées sur un forum en ligne, nommé r/AskDocs et comptant environ 474 000 membres, où des professionnels de santé vérifiés et bénévoles apportent des réponses. Ils ont demandé à ChatGPT de répondre aux interrogations des patients, et comparé la qualité de ses réponses et leur caractère empathique aux réponses apportées par les professionnels de santé.
En tout, 195 questions ont été piochées au hasard sur le forum. À l’aveugle, c’est-à-dire sans savoir qui du professionnel de santé ou de ChatGPT était à l’origine de la réponse, des évaluateurs, par ailleurs eux-mêmes professionnels de santé, ont comparé les réponses. La qualité des informations fournies a été évaluée (classée en 5 catégories, de “très mauvaise” à “très bonne”), ainsi que le caractère empathique ou non de la réponse (classé en 5 catégories allant de “pas empathique” à “très empathique”).
Des chiffres sans équivoque, mais à contextualiser
Verdict : les évaluateurs ont préféré les réponses de ChatGPT à celles des professionnels de santé dans 78,6 % des cas, sur les 585 évaluations passées au crible.
Le nombre de mots utilisés variait également beaucoup entre les deux types de répondants, puisque les médecins ont fourni des réponses allant de 17 à 62 mots, là où ChatGPT a formulé des réponses de 168 à 245 mots.
La proportion de réponses considérées comme de “bonne” ou de “très bonne” qualité était d’environ 80 % pour ChatGPT, alors qu’elle n’était que de 22 % pour les professionnels de santé. Pour ce qui est de l’empathie, ChatGPT a continué à surpasser les médecins, avec 45 % des réponses de ChatGPT considérées comme “empathiques” voire “très empathiques”, tandis que seulement 4,6 % des réponses des médecins étaient considérées comme telles.
Si les chercheurs restent mesurés quant à ces résultats, soulignant qu’on ne sait pas comment se débrouillerait ChatGPT dans le monde réel, face à un patient dans un cabinet médical ou à l’hôpital. Cela dit, au vu de ces résultats, ils estiment qu’il ne serait pas idiot de s’aider de l’intelligence artificielle pour améliorer les réponses médicales dans les forums en ligne.