Modele sztucznej inteligencji oparte na czacie dokładnie odpowiadają na pytania dotyczące AF zadawane przez pacjentów, ale nie przez klinicystów

Gniazda główne:

• ChatGPT i Bing AI udzieliły w większości odpowiednich odpowiedzi na pytania pacjentów dotyczące migotania przedsionków, leczenia, leków i stylu życia.
• Odpowiedzi na pytania na poziomie klinicysty były mniej dokładne, na podstawie oceny ekspertów.

ChatGPT i Bing AI dostarczyły w większości dokładnych odpowiedzi na typowe pytania pacjentów dotyczące migotania przedsionków, ale nie wydawały się dobrze nadawać się do pomocy w podejmowaniu decyzji na poziomie lekarza, stwierdzili naukowcy.

„Migotanie przedsionków jest najczęstszym rodzajem arytmii na świecie. Informacje oparte na crowdsourcingu zasobów i rekomendacjach peer-to-peer za pośrednictwem Internetu doprowadziły do ​​publikacji czasami niedokładnych informacji na temat zapobiegania i leczenia migotania przedsionków” Zahra Azizi, MD, MAI Napisane przez badacza ze stopniem doktora w dziedzinie medycyny sercowo-naczyniowej i epidemiologa klinicznego na Uniwersytecie Stanforda oraz współpracowników. „Wraz z rosnącą dostępnością sztucznej inteligencji i technologii uczenia maszynowego na poziomie konsumenckim jest bardziej prawdopodobne, że pacjenci zwrócą się do takiego podejścia w celu uzyskania porady medycznej. Jednak stosowność porad udzielanych na temat migotania przedsionków z modeli sztucznej inteligencji opartych na czacie nie została jeszcze zbadana zostać zbadane”.

Azizi i współpracownicy cytowali ostatnie badanie opublikowane w gamma Naukowcy ocenili wersję badawczą zdolności modelu ChatGPT do dostarczenia odpowiednich zaleceń opartych na wytycznych dotyczących zagadnień z zakresu kardiologii prewencyjnej, w tym doradztwa w zakresie czynników ryzyka i informacji farmakokinetycznych.

Jak wcześniej informował Healio, model ChatGPT dostarczył odpowiednich odpowiedzi na większość pytań dotyczących profilaktyki CVD, w tym na złożone tematy, takie jak zarządzanie cholesterolem pomimo leczenia statynami.

W bieżącej analizie Azizi i współpracownicy ocenili różnice w wynikach między pytaniami pacjentów i lekarzy dotyczącymi migotania przedsionków za pomocą dwóch modeli opartych na czacie: ChatGPT i Bing AI.

Badanie zostało opublikowane w Układ krążenia: zaburzenia rytmu i elektrofizjologia.

W formularzach opartych na czacie zadano 18 pytań na poziomie pacjenta, zaprojektowanych przez klinicystów z doświadczeniem w migotaniu przedsionków, w oparciu o częste zapytania pacjentów dotyczące ogólnego migotania przedsionków, leczenia, leków i stylu życia. Systemom sztucznej inteligencji zadano kolejne 18 pytań na poziomie klinicysty, aby ocenić dokładność zarówno tekstu, jak i odniesienia.

Odpowiedzi AI zostały sprawdzone przez trzech klinicystów-ekspertów, którzy ocenili je jako odpowiednie lub nieodpowiednie.

Azizi i współpracownicy zauważyli wysoki poziom zgodności między recenzentami a dwoma modelami AI (statystyka kappa, 0,77 do 1).

Naukowcy stwierdzili, że odpowiedzi na poziomie pacjenta zostały uznane za odpowiednie dla 83,3% monitów, przy czym 83,3% było odpowiednie dla zapytań dotyczących migotania przedsionków w ogóle, 100% dla leczenia, 100% dla leków i 71,4% dla stylu życia. Jednak według badania sztuczna inteligencja dostarczyła niedokładnych odpowiedzi na pytania dotyczące wyzwalaczy migotania przedsionków, w tym odniesienia do spożycia alkoholu i kawy.

W przypadku pytań na poziomie klinicysty dokładność tekstu została zgłoszona w 33,3% odpowiedzi ChatGPT i 66,6% odpowiedzi Bing AI, podczas gdy dokładność referencyjna wyniosła 55,5% w przypadku ChatGPT i 50% w przypadku Bing AI.

Zgodnie z badaniem, w przypadku odpowiedzi AI uznanych przez recenzentów medycznych za odpowiednie, większość odwoływała się do aktualnych wytycznych amerykańskich i europejskich, a niektóre cytowały literaturę podstawową.

Jednak Aziz i współpracownicy poinformowali, że w odpowiedzi na dwa zapytania na poziomie klinicysty dotyczące leczenia migotania przedsionków, ChatGPT dostarczył referencje i badania, których nie było.

„Nasze odkrycia pokazują, że chociaż ChatGPT może odpowiednio podsumować niektóre ogólne informacje dotyczące migotania przedsionków u pacjentów, nie jest to całkowicie dokładne” – napisali naukowcy. Ponadto stwierdziliśmy, że ChatGPT i Bing AI nie były precyzyjne i nie zapewniały odpowiedniej podstawy naukowej dla zaleceń skierowanych do pracowników służby zdrowia, co sugeruje, że narzędzia te mogą być nieodpowiednie do podejmowania decyzji klinicznych lub badań.

Dodaj temat do alertów e-mail

Otrzymuj wiadomość e-mail, gdy na stronie zostaną opublikowane nowe artykuły

Podaj swój adres e-mail, aby otrzymać wiadomość e-mail, gdy zostaną opublikowane nowe artykuły .

„data-action =” subskrybuj „> subskrybuj

Nie mogliśmy przetworzyć Twojego żądania. Spróbuj ponownie później. Jeśli ten problem nadal występuje, prosimy o kontakt pod adresem [email protected].

Powrót do Healio

Centrum zasobów sztucznej inteligencji w medycynie