Studie: GPT-4 übertrifft viele Ärzte bei der Beurteilung von Augenproblemen

Studie: GPT-4 übertrifft viele Ärzte bei der Beurteilung von Augenproblemen

Laut einer Studie der Universität Cambridge übertrifft GPT-4 die Leistung vieler Ärzte bei der Beurteilung von Augenproblemen.​

Eine Studie der Universität Cambridge kommt zu dem Ergebnis, dass das Sprachmodell GPT-4 die Fähigkeiten von nicht spezialisierten Ärzten bei der Beurteilung von Augenproblemen und der Beratung deutlich übertrifft. Die Forscher gehen davon aus, dass KI-Modelle wie GPT-4 in Zukunft eine nützliche Hilfe bei der Beratung, Diagnose und Behandlungsempfehlung in der Augenheilkunde sein könnten.

In der Studie wurden sowohl verschiedene Sprachmodelle miteinander verglichen als auch deren Leistung gegenüber Ärzten verschiedener Karrierestufen, etwa unerfahrene Assistenzärzte, Fachärzte in der Weiterbildung und erfahrene Augenärzte.

Dabei zeigte sich, dass GPT-4 den anderen getesteten Sprachmodellen GPT-3,5, LLaMA und PaLM 2 überlegen war. Sowohl den Sprachmodellen als auch den Ärztinnen und Ärzten wurden 87 Patientenszenarien mit spezifischen Augenproblemen vorgelegt. Sie sollten aus vier Optionen eine Diagnose stellen oder Behandlungsempfehlungen geben.

GPT-4 schnitt signifikant besser ab als unerfahrene Assistenzärzte, deren Fachwissen mit dem von Allgemeinmedizinern vergleichbar sei, so die Forschenden. Im Vergleich zu Fachärzten in Weiterbildung und erfahrenen Augenärzten erzielte GPT-4 vergleichbare Ergebnisse, nur besonders erfahrene Fachärzte erzielten laut der Studie höhere Werte als das Sprachmodell.

KI bei Triagierung?

Die Forscher betonen, dass KI-Systeme wie GPT-4 zwar kein medizinisches Personal ersetzen werden, aber als Teil des klinischen Workflows das Potenzial haben, die Gesundheitsversorgung zu verbessern. “Wir könnten KI realistisch bei der Triage von Patienten mit Augenproblemen einsetzen, um zu entscheiden, welche Fälle sofort von einem Spezialisten gesehen werden müssen, welche von einem Allgemeinmediziner behandelt werden können und welche keine Behandlung benötigen”, erläutert der Hauptautor der Studie, Dr. Arun Thirunavukarasu.

Unterstützung für unterversorgte Regionen

Vor allem in Regionen, in denen der Zugang zu spezialisierten Augenärzten eingeschränkt ist, sehen die Autoren fortschrittliche Sprachmodelle als wertvolle Unterstützung. “Die Modelle könnten klaren Algorithmen folgen, die bereits im Einsatz sind, und wir haben festgestellt, dass GPT-4 bei der Verarbeitung von Augensymptomen und -zeichen genauso gut ist wie erfahrene Kliniker, wenn es darum geht, komplexere Fragen zu beantworten”, ergänzt Thirunavukarasu.

Vergleich mit früheren Studien

Die Forscher betonen, dass ihre Studie früheren Untersuchungen überlegen ist, da sie die Fähigkeiten der KI mit denen von praktizierenden Ärzten verglichen haben, nicht nur mit Prüfungsergebnissen. Hintergrund sei, dass Ärzte nicht lebenslang für Prüfungen lernen und sie sehen wollten, wie die KI mit dem spontanen Wissen und den Fähigkeiten praktizierender Ärzte umgeht, um einen fairen Vergleich zu ermöglichen.

Um die Modelle weiter zu verfeinern und zu entwickeln, werden große Mengen klinischer Daten benötigt. Daran wird bereits weltweit gearbeitet. Die Forscher betonen aber auch, dass trotz des Einsatzes von KI die Verantwortung für die Patientenversorgung bei den Ärzten bleibt. “Das Wichtigste ist, dass die Patienten selbst entscheiden können, ob sie wollen, dass Computersysteme eingesetzt werden oder nicht. Das ist eine individuelle Entscheidung für jeden Patienten”, sagt Thirunavukarasu.

Die Studie wurde in der Fachzeitschrift PLOS Digital Health veröffentlicht. Laut der Pressemitteilung der Universität Cambridge habe man nach der Veröffentlichung der Studie ausgefeiltere KI-Modelle entwickelt, die den Fähigkeiten von Augenärzten noch näher kommen könnten.