ChatGPT oblał egzamin z medycyny na polskim uniwersytecie. Czy i kiedy AI będzie nas leczyć?

ChatGPT lekarz zdrowie

Uniwersytet Mikołaja Kopernika w Toruniu postanowił sprawdzić, czy obecna sztuczna inteligencja jest w stanie zdać egzamin z medycyny. Naukowcy podzielili się wynikami badań.

Przeprowadzony egzamin dotyczył specjalistycznej dziedziny nazywanej potocznie „interna” – działu, który skupia się na schorzeniach narządów wewnętrznych. Sztuczna inteligencja została potraktowana na podobnych warunkach jak człowiek, który przystępuje do egzaminu. Test składał się z 120 pytań, gdzie w każdym zadaniu tylko jedna z pięciu odpowiedzi jest prawidłowa.

ChatGPT oblał egzamin z medycyny. Naukowcy podają dane

Tak jak możemy się spodziewać, egzamin z medycyny nie był najprostszy dla sztucznej inteligencji. Naukowcy musieli zdecydować się na pewne kompromisy, które wynikały przede wszystkim ze względów technicznych. W egzaminach pisemnych usunięto część pytań, na które oprogramowanie firmy OpenAI nie byłoby w stanie odpowiedzieć – m.in. takie, w których są obrazki lub elementy analityczne powiązane z innymi pytaniami.

Sztuczna inteligencja zaliczyła 10 sesji, w których zadano łącznie 1191 pytań i w różnych podejściach uzyskiwano różny wynik. ChatGPT ani razu nie zdał polskiego egzaminu z medycyny – wyniki mieściły się w przedziale między 47,5 a 53,3 proc. Aby przejść do części ustnej, trzeba zdobyć wynik co najmniej 60 proc., więc sztuczna inteligencja nawet nie była blisko tej wartości.

Naukowcy przeanalizowali sposób działania AI i doszli do ciekawych wniosków. ChatGPT podobnie jak ludzie radził sobie najlepiej z pytaniami uznawanymi za prostsze. Nawet w tej kwestii potrafił przewyższyć człowieka, natomiast nie zauważono korelacji między długością pytania a jakością odpowiedzi. Zdarzały się dłuższe pytania, w których sztuczna inteligencja po prostu sobie nie dawała rady – przede wszystkim pytaniach, gdzie ważną rolę było wykorzystanie słowa klucza. Były także przypadki, w których sztuczna inteligencja znała odpowiedź na określone pytania, ale mimo tego zaznaczała błędną.

Naukowcy doszli do ciekawych wniosków – m.in. to, że od wielu lat pacjenci „Googlują” najróżniejsze choroby i sami diagnozują choroby na podstawie tego, co piszą w internecie. Na podobnej zasadzie działają czatboty sztucznej inteligencji, więc pytając ChatGPT o objawy najprawdopodobniej otrzymamy podobną odpowiedź jak w wyszukiwarce.

Teraz te możliwości jeszcze się poszerzają, bo z ChatemGPT czy Gemini można porozmawiać o swoich chorobach. Oba czaty bazują na informacjach z Google lub innych wyszukiwarek, więc nie dajmy się nabrać, ich diagnoza nie będzie lepsza.

– dr Szymon Suwała z Katedry Endokrynologii i Diabetologii Wydziału Lekarskiego Collegium Medicum UMK

Nie uwierzysz, że nie nagrał tego człowiek. Ta muzyka budzi strach i… wiarę

Całe przedsięwzięcie zostało wykonane z czystej ciekawości. Za granicą – m.in. w Stanach Zjednoczonych – pojawiły się już sytuacje, w których ChatGPT potrafił zdać egzamin z medycyny, natomiast jak widać w Polsce to nie przeszło. Naukowiec z Uniwersytetu Mikołaja Kopernika twierdzi, że minie dużo czasu, zanim sztuczna inteligencja (ChatGPT, Gemini) zda egzamin.

A nawet gdyby była w stanie, to wciąż nie jest w stanie wyleczyć drugiego człowieka.

Więcej o sztucznej inteligencji przeczytasz na Spider’s Web:

Ta decyzja może całkowicie odmienić branżę reklamową. Nadchodzą zmiany W sieci roi się od drogich kursów pisania promptów. Google nauczy cię tego za darmo Tobie rysuje śmieszne kotki, innym naprowadzi pociski. Chcieli ją sprzedać wojsku