Oprogramowanie AI uzyskało pozytywne wyniki amerykańskiego egzaminu medycznego. W przypadku człowieka zwykle wymaga to wielu lat przygotowań - informuje pismo "PLOSDigital Health“.
ChatGPT to system sztucznej inteligencji (AI), znany jako duży model językowy (po angielskiu - Logic Learning Machine, LLM). Został zaprojektowany do generowania tekstów podobnych do pisanych przez człowieka poprzez przewidywanie nadchodzących sekwencji słów. W przeciwieństwie do większości chatbotów ChatGPT nie przeszukuje internetu. Teksty generuje, wykorzystując relacje między słowami przewidywane przez wewnętrzne procesy.
Jak wykazały badania, ChatGPT może uzyskać wynik równy lub zbliżony do około 60-proc. progu wymaganego do uzyskania licencji medycznej w Stanach Zjednoczonych (USMLE), z odpowiedziami, które mają spójny, wewnętrzny sens.
Dr Tiffany Kung i jej współpracownicy z medycznego startupu AnsibleHealth przetestowali możliwości ChatGPT na przykładzie USMLE, wysoce wystandaryzowanej i regulowanej serii trzech egzaminów wymaganych do uzyskania licencji medycznej w Stanach Zjednoczonych. USMLE, przeznaczony dla studentów medycyny i lekarzy stażystów, ocenia wiedzę obejmującą większość dyscyplin medycznych, od biochemii, przez rozumowanie diagnostyczne, po bioetykę.
Po usunięciu pytań opartych na obrazach autorzy przetestowali oprogramowanie na 350 z 376 pytań publicznych dostępnych w wydaniu USMLE z czerwca 2022 r.
W trzech egzaminach USMLE ChatGPT uzyskał wynik między 52,4 proc. a 75,0 proc. Próg przejścia dla każdego roku wynosił około 60 proc. ChatGPT wykazał również 94,6 proc. zgodności we wszystkich swoich odpowiedziach i uzyskał co najmniej jeden znaczący wgląd (coś, co było nowe, nieoczywiste i klinicznie ważne) dla 88,9 proc. swoich odpowiedzi.
Co istotne, ChatGPT przewyższył wynikami PubMedGPT, model przeszkolony wyłącznie w oparciu o literaturę z dziedziny biomedycyny, który uzyskał 50,8 proc. prawidłowych odpowiedzi na starszym zbiorze danych pytań w stylu USMLE.
Chociaż stosunkowo niewielki rozmiar danych wejściowych ograniczał zakres analiz - autorzy zauważają, że ich odkrycia dają wgląd w potencjał ChatGPT w zakresie poprawy edukacji medycznej, a ostatecznie praktyki klinicznej. Na przykład klinicyści w AnsibleHealth już używają ChatGPT do "tłumaczenia" skomplikowanego żargonu raportów medycznych w celu łatwiejszego zrozumienia ich przez pacjentów.
Osiągnięcie pozytywnego wyniku tego niezwykle trudnego egzaminu eksperckiego i dokonanie tego bez wsparcia ze strony ludzi stanowi znaczący kamień milowy w klinicznym dojrzewaniu sztucznej inteligencji - mówią autorzy.
Dr Tiffany Kung zaznaczyła, że rola ChatGPT wykraczała poza bycie przedmiotem badania: ChatGPT znacząco przyczynił się do napisania [naszego] tekstu... Współpracowaliśmy z ChatGPT podobnie jak z kolegą, prosząc go o syntezę, uproszczenie i oferowanie kontrapunktów do szkiców w toku... Wszyscy współautorzy cenili wkład ChatGPT.