Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]


Groups > ger.ct > #657010

Re: Warken: verpflichtende digitale Ersteinschätzung

From "Dr. Joachim Neudert" <neudert@5sl.org>
Newsgroups ger.ct
Subject Re: Warken: verpflichtende digitale Ersteinschätzung
Date 2026-02-16 07:40 +0100
Message-ID <10mue4m$8t30$1@solani.org> (permalink)
References <10mibn1$1es8$1@solani.org> <10mrk0s$7klj$1@solani.org>

Show all headers | View raw


Am 15.02.26 um 06:02 schrieb Ulrich D i e z:
> Dr. Joachim Neudert schrieb:
> 
>> Die verpflichtende sogenannte „digitale Ersteinschätzung“ wird interessant
>> werden.
>> Ich sehe schon in zahlreichen Computer-Fachzeitungen und Illustrierten die
>> „Tipps und Tricks“ Artikel vor mir: „Wie komme ich am
>> Krankenkassen-Computer vorbei und sehe einen Arzt aus Fleisch und Blut?“
> 
> 
> Was sollte an einem Arzt aus Fleisch und Blut in der heutigen Zeit
> besser sein als an einem Krankenkassen-Computer, so ekelerregend, wie
> Ärztinnen und Ärzte sich gegenüber Menschen sehr häufig verhalten?
> 
> Mit freundlichem Gruß
> 
> Ulrich

Na, dann ist ja schon der Erste hochzufrieden, wenn er stattdessen von 
einem Chatbot Diagnosen, Therapieempfehlungen und Trost erhält.

SZ vom 16.2.2025:
_______________________

Das Problem ist nicht die KI, sondern der Mensch

Chatbots führen viele Nutzer zu falschen medizinischen Diagnosen. Und 
sie erkennen nicht, wann dringend Hilfe erforderlich ist.

Sie bestehen Medizinprüfungen mit Bravour und können mehr Krankheiten 
nennen als die meisten Ärztinnen und Ärzte: KI-Chatbots wie Chat-GPT und 
Llama nutzen nachweislich fundiertes Fachwissen. Daher liegt es nahe, 
die KI bei Gesundheitsfragen zu konsultieren, was viele Menschen tun. 
Nun zeigt eine im Fachmagazin Nature Medicine veröffentlichte Studie 
jedoch: Trotz nahezu perfekter Leistungen bei medizinischen Prüfungen 
klappt die Diagnose im direkten Chat mit Laien überraschend schlecht. 
Auch geben die großen Sprachmodelle, wie KI-Chatbots in der Fachsprache 
genannt werden, oft falsche Handlungsanweisungen.
„Diese Ergebnisse verdeutlichen, wie schwierig es ist, KI-Systeme zu 
entwickeln, die Menschen in sensiblen, risikoreichen Bereichen wie der 
Gesundheit wirklich unterstützen können“, wird Rebecca Payne von der 
Bangor University in Wales, Co-Autorin der Studie, in einer 
Medienmitteilung zitiert. Trotz des ganzen Hypes sei KI einfach nicht 
bereit, die Rolle von Ärztinnen und Ärzten zu übernehmen. Patienten 
„müssen sich bewusst sein, dass es gefährlich sein kann, ein großes 
Sprachmodell nach ihren Symptomen zu fragen, da es zu falschen Diagnosen 
führen kann und es nicht erkennt, wann dringende Hilfe erforderlich ist“.
Um die Diagnosefähigkeit von KI-Chatbots zu prüfen, entwickelten 
Forschende um Luc Rocher und Adam Mahdi vom Oxford Internet Institute 
der Universität Oxford zusammen mit Ärztinnen und Ärzten zehn 
realistische medizinische Fallbeispiele. Jeder Fall beschreibt 
detailliert die Lebensumstände, die Krankheitsgeschichte und die 
aktuellen Symptome, die auf eine bestimmte Krankheit hinweisen – etwa 
plötzliche, sehr starke Kopfschmerzen oder stechende Schmerzen im 
Bauchraum. Ein weiteres Team von Ärztinnen und Ärzten erstellte eine 
Liste mit mehreren Diagnosen für jedes Fallbeispiel, etwa ob den 
Kopfschmerzen eine Hirnhautentzündung und den Bauchschmerzen 
Gallensteine zugrunde liegen. Jede Diagnose erfordert dann eine von fünf 
Aktionen: von Selbstbehandlung bis zum Notruf.
Gaben die Forschenden die zehn fachlich korrekten und detaillierten 
Beschreibungen der Krankheiten direkt in die Chatbots ein, lieferten 
diese – wie bei medizinischen Prüfungen – sehr gute Resultate: In rund 
95 Prozent der Fälle identifizierten die drei getesteten Chatbots 
(GPT-4o, Llama 3, Command R+) die den Symptomen zugrunde liegenden 
Erkrankungen korrekt. Und in durchschnittlich 56 Prozent der Fälle 
erfolgte auch die korrekte Handlungsempfehlung.
Ganz anders war das Resultat, als der Faktor Mensch ins Spiel kam, in 
diesem Fall rund 1000 Testpersonen aus Großbritannien, denen jeweils ein 
Krankheitsfall zugeordnet wurde. Sie sollten mithilfe eines KI-Chatbots 
sowohl die passende Diagnose als auch die nötigen Handlungsschritte 
herausfinden. Zwar erwähnten die Chatbots in ihren Antworten immerhin in 
etwa 70 Prozent der Fälle zumindest eine für die Erkrankung relevante 
Diagnose. Doch die Probandinnen und Probanden konnten aus dem Dialog mit 
der KI die teils korrekten Diagnosen oft nicht herauslesen. Am Ende 
identifizierten weniger als 35 Prozent der KI-Nutzenden die Erkrankung, 
die ihren Symptomen zugrunde lag. Und in weniger als 44 Prozent der 
Fälle gelangten sie zur richtigen Handlungsanweisung. „Bei unserer 
Arbeit haben wir festgestellt“, so ein Fazit der Studienautoren, „dass 
keines der getesteten Sprachmodelle für den Einsatz in der direkten 
Patientenversorgung bereit war.“
Die Autorinnen und Autoren der Studie erklären dies erstens mit der 
unpräzisen und laienhaften Beschreibung der Symptome durch die 
Testpersonen. Diese wussten oft nicht, welche Informationen die 
KI-Sprachmodelle benötigten, um genaue Ratschläge zu geben. Zweitens 
legten sich die Chatbots in ihren Antworten oft nicht eindeutig fest, 
sondern gaben in der Regel mehr als zwei mögliche Diagnosen ab. Die 
Nutzenden taten sich aber schwer, die korrekte Diagnose zu 
identifizieren. Drittens enthielten die Antworten der Chatbots häufig 
sowohl gute als auch schlechte Empfehlungen, was es schwierig machte, 
die beste Vorgehensweise zu ermitteln.
Das Kernproblem, so zeigt die Studie, liegt somit in der mangelhaften 
Kommunikation zwischen Hilfesuchenden und den KI-Chatbots. Die 
Ergebnisse zeigen außerdem, dass die getesteten Chatbots bei 
Gesundheitsfragen nicht hilfreicher waren als die herkömmliche 
Recherche, etwa die klassische Internetsuche. Im Gegenteil: Die 
Kontrollgruppe, die etwa Suchmaschinen ohne KI-Funktion nutzte, hatte 
eine 1,76-fach höhere Chance, einen relevanten Aspekt ihrer Erkrankungen 
zu identifizieren.
„Ich finde die Studie sehr relevant, weil sie in einem Experiment 
versucht, eine realistische Situation abzubilden, und sie uns wichtige 
Hinweise gibt, wo wir etwas verbessern sollten“, sagt Claudia Witt, 
Professorin an der Medizinischen Fakultät der Universität Zürich (UZH) 
und Co-Direktorin der Digital Society Initiative UZH. Sie war nicht an 
der Studie beteiligt. „Es ist trotzdem ein Experiment. Die Teilnehmenden 
waren ja nicht erkrankt, sondern haben eine Rolle angenommen, die durch 
die Szenarien vorgegeben war.“
Die Ergebnisse würden darauf hinweisen, dass beim Einsatz von 
KI-Chatbots in der medizinischen Beratung weniger die Technologie selbst 
das zentrale Problem darstelle als vielmehr die Art ihrer Nutzung. „Zwar 
wirken die KI-Sprachmodelle durch die Chat-Oberfläche intuitiv und 
leicht zugänglich“, sagt Witt, „doch die Qualität und Zuverlässigkeit 
der Antworten hängt stark von den Nutzerinteraktionen ab.“
Für Kerstin Denecke, Co-Leiterin des Instituts für Patient-centered 
Digital Health an der Berner Fachhochschule (BFH), unterstreicht die 
Studie „die Notwendigkeit, Sprachmodelle weiterzuentwickeln, damit sie 
mit der Komplexität und Sensibilität gesundheitsbezogener Empfehlungen 
umgehen können“. Die Studie zeige einmal mehr, dass die Qualität der 
Ergebnisse einer Interaktion mit einem Sprachmodell von der 
Benutzereingabe – dem Prompt – abhängig sei.
Laut Iryna Gurevych, Professorin für Ubiquitous Knowledge Processing an 
der Technischen Universität Darmstadt, müsste ein medizinischer Chatbot 
mehr können als nur Fragen beantworten, wenn er als erste Kontaktstelle 
nützlich sein soll. „Er sollte die Nutzenden dazu anleiten, vollständige 
Informationen anzugeben, und gegebenenfalls Folgefragen stellen, wenn 
etwas fehlt“, sagt Gurevych. „Außerdem sollte er keine definitiven 
Antworten geben, wenn die beschriebene Situation unklar ist.“
Aus Sicht von Claudia Witt brauche es nicht nur technische 
Weiterentwicklungen, sondern auch mehr Empfehlungen im Umgang mit 
KI-Chatbots. „Das ist ein Aspekt, der bei früheren 
Technologieeinführungen wie Software oder dem Internet eine deutlich 
größere Rolle spielte“, sagt Witt. KI-Entwicklern, politischen 
Entscheidungsträgern und Regulierungsbehörden geben die Forschenden in 
der Studie eine Empfehlung: Ähnlich wie Medikamente an Menschen getestet 
werden, bevor sie auf den Markt kommen, sollten in Zukunft auch KI-Tools 
mit menschlichen Testpersonen geprüft werden. So ließe sich deren 
Dialogfähigkeit mit realen Patientinnen und Patienten bewerten, bevor 
sie öffentlich im Gesundheitswesen zum Einsatz kommen.
Joachim Laukenmann


-- 
Ammersee
Meer braucht's ned

Back to ger.ct | Previous | NextPrevious in thread | Next in thread | Find similar | Unroll thread


Thread

Warken: verpflichtende digitale Ersteinschätzung  Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-11 16:45 +0000
  Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-11 18:21 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung Jörg Tewes <jogi1964@gmx.net> - 2026-02-12 00:08 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-02-12 00:49 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung Ulf Kutzner <user2991@newsgrouper.org.invalid> - 2026-02-12 07:31 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung Hartmut Ott <hottm@arcor.de> - 2026-02-12 14:34 +0100
  Re: Warken: verpflichtende digitale Ersteinschätzung Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-02-12 00:42 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung Juergen <schreibsklave@web.de> - 2026-02-12 01:44 +0100
      Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-12 06:00 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung Walter Brill <WalterBrill@t-online.de> - 2026-02-22 13:02 +0100
  Re: Warken: verpflichtende digitale Ersteinschätzung  ram@zedat.fu-berlin.de (Stefan Ram) - 2026-02-12 00:56 +0000
    Re: Warken: verpflichtende digitale Ersteinschätzung  ram@zedat.fu-berlin.de (Stefan Ram) - 2026-02-16 15:04 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung  Ulf Kutzner <user2991@newsgrouper.org.invalid> - 2026-02-16 15:12 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung Goetz Schultz <ng.expire1230@goetz.co.uk> - 2026-02-16 15:20 +0000
        Re: Warken: verpflichtende digitale Ersteinschätzung Goetz Schultz <ng.expire1230@goetz.co.uk> - 2026-02-16 15:33 +0000
  Re: Warken: verpflichtende digitale Ersteinschätzung "F. W." <me@home.invalid> - 2026-02-12 07:06 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung Ulf Kutzner <user2991@newsgrouper.org.invalid> - 2026-02-12 07:34 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-12 10:17 +0000
    Re: Warken: verpflichtende digitale Ersteinschätzung Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2026-02-12 09:09 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-12 10:14 +0000
        Re: Warken: verpflichtende digitale Ersteinschätzung Ulf Kutzner <user2991@newsgrouper.org.invalid> - 2026-02-12 10:24 +0000
          Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-12 10:39 +0000
            Re: Warken: verpflichtende digitale Ersteinschätzung Ulf Kutzner <user2991@newsgrouper.org.invalid> - 2026-02-12 10:43 +0000
              Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-12 10:52 +0000
          Re: Warken: verpflichtende digitale Ersteinschätzung Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2026-02-12 13:35 +0000
  Re: Warken: verpflichtende digitale Ersteinschätzung Ulrich D i e z <ud.usenetcorrespondence@web.de> - 2026-02-15 06:02 +0100
    Re: Warken: verpflichtende digitale Ersteinschätzung "Dr. Joachim Neudert" <neudert@5sl.org> - 2026-02-16 07:40 +0100
      Re: Re: Warken: verpflichtende digitale Ersteinschätzung ram@zedat.fu-berlin.de (Stefan Ram) - 2026-02-16 09:07 +0000
        Re: Re: Warken: verpflichtende digitale Ersteinschätzung ram@zedat.fu-berlin.de (Stefan Ram) - 2026-02-16 23:58 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-17 05:53 +0000
        Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-17 09:20 +0100
          Re: Warken: verpflichtende digitale Ersteinschätzung "Dr. Joachim Neudert" <neudert@5sl.org> - 2026-02-17 11:03 +0100
            Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-17 11:44 +0100
              Re: Warken: verpflichtende digitale Ersteinschätzung Hartmut Ott <hottm@arcor.de> - 2026-02-17 12:51 +0100
                Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-17 14:49 +0100
                Re: Warken: verpflichtende digitale Ersteinschätzung Michael Bode <m.g.bode@web.de> - 2026-02-17 20:01 +0100
                Re: Warken: verpflichtende digitale Ersteinschätzung Hartmut Ott <hottm@arcor.de> - 2026-02-18 14:27 +0100
              Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-17 12:51 +0000
              Re: Warken: verpflichtende digitale Ersteinschätzung Goetz Schultz <ng.expire1230@goetz.co.uk> - 2026-02-17 14:09 +0000
                Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-17 15:42 +0100
                Re: Warken: verpflichtende digitale Ersteinschätzung Goetz Schultz <ng.expire1230@goetz.co.uk> - 2026-02-17 16:34 +0000
                Re: Warken: verpflichtende digitale Ersteinschätzung Ruediger Lahl <ruediger.lahl@gmx.de> - 2026-02-17 18:33 +0100
                Re: Warken: verpflichtende digitale Ersteinschätzung Dr. Joachim Neudert <neudert@5sl.org> - 2026-02-17 18:13 +0000
      Re: Warken: verpflichtende digitale Ersteinschätzung Ulrich D i e z <ud.usenetcorrespondence@web.de> - 2026-02-17 16:21 +0100

csiph-web