Das Projekt "Evidence-based health risk communication of LLMs" beinhaltet eine Zwei-Phasen-Studie zur randomisierten Evaluation großer Sprachmodelle in der Einhaltung evidenzbasierter Gesundheitskommunikation bei der Brust- und Prostatakrebsfrüherkennung.
Diese Studie untersucht, ob die großen Sprachmodelle Open AI's ChatGPT, Google Gemini, and Mistral AI's Le Chat in der Lage sind, korrekte und verständliche Informationen zur Brust- und Prostatakrebsfrüherkennung zu liefern. Ziel ist es, zu überprüfen, ob die Antworten den evidenzbasierten medizinischen Standards entsprechen und wie die Qualität der Antworten durch detaillierte Nutzereingaben verbessert werden kann. Die Studie besteht aus zwei Phasen: In Phase 1 beantworten die Sprachmodelle vordefinierte Fragen, um ihre Antwortqualität zu bewerten. In Phase 2 stellen echte Nutzer ihre eigenen Fragen, wobei manche zusätzliche Hinweise erhalten, um präzisere Eingaben zu machen. Untersucht wird auch, ob minimale Hinweise an die Nutzer die Qualität der Antworten verbessern. Das übergeordnete Ziel ist herauszufinden, ob Sprachmodelle Menschen dabei unterstützen können, informierte Entscheidungen zu ihrer Gesundheit zu treffen, insbesondere in Bezug auf Krebsfrüherkennung.