Identyfikacja treści generowanych przez sztuczną inteligencję w artykułach naukowych

Niedawny wzrost popularności narzędzi AI takich jak ChatGPT zmusza społeczność naukową do zastanowienia się nad swoim miejscem w literaturze naukowej. Prestiżowe czasopisma, takie jak Science i Nature, próbowały ograniczyć lub zakazać stosowania sztucznej inteligencji w zgłaszanych badaniach, jednak trudno jest to wyegzekwować ze względu na trudność wykrycia języka generowanego maszynowo.

W miarę jak sztuczna inteligencja staje się coraz bardziej zaawansowana w naśladowaniu ludzkiego języka, badacze z Uniwersytetu w Chicago chcieli dowiedzieć się, jak często autorzy korzystają ze sztucznej inteligencji i jak dobrze może ona tworzyć atrakcyjne artykuły naukowe. W badaniu opublikowanym w czasopiśmie Cancer Informatics Clinical Oncology w sobotę 1 czerwca dr Frederick Howard i współpracownicy ocenili tekst z ponad 15 000 abstraktów z dorocznego spotkania Amerykańskiego Towarzystwa Onkologii Klinicznej (ASCO) odbywającego się w latach 2021–2023 przy użyciu kilku detektorów Komercyjne treści dotyczące sztucznej inteligencji. Ustalili, że w 2023 r. pojawiło się prawie dwa razy więcej abstraktów zawierających sztuczną inteligencję niż w latach 2021 i 2022, co stanowi wyraźny sygnał, że badacze korzystają z narzędzi sztucznej inteligencji w publikacjach naukowych. Co ciekawe, detektory treści znacznie lepiej rozróżniały tekst generowany przez starsze wersje chatbotów AI od tekstu pisanego przez człowieka, ale były mniej dokładne w identyfikowaniu tekstu z nowszych, dokładniejszych modeli sztucznej inteligencji lub mieszanki tekstu pisanego i tekstu pisanego przez człowieka Teksty generowane przez sztuczną inteligencję. .

Ponieważ w nadchodzących latach wykorzystanie sztucznej inteligencji w pismach naukowych prawdopodobnie wzrośnie w miarę opracowywania skuteczniejszych modeli języka sztucznej inteligencji, Howard i jego współpracownicy przestrzegają, że ważne jest wprowadzenie zabezpieczeń zapewniających, że w pracach naukowych będą zamieszczane wyłącznie dokładne informacje biorąc pod uwagę tendencję modeli sztucznej inteligencji do pisania wiarygodnych, ale niedokładnych stwierdzeń. Doszli również do wniosku, że chociaż detektory treści AI nigdy nie osiągną doskonałej dokładności, można je wykorzystać jako narzędzie przesiewowe, aby wskazać, że przesłane treści wymagają dodatkowej kontroli ze strony recenzentów, ale nie powinny być stosowane jako jedyny sposób oceny treści AI w pismach naukowych. . .