Home
» Wiki
»
Dlaczego nie powinieneś ufać informacjom prasowym od chatbotów AI
Dlaczego nie powinieneś ufać informacjom prasowym od chatbotów AI
Zdecydowanie powinieneś się dwa razy zastanowić zanim skorzystasz z usług chatbota opartego na sztucznej inteligencji (AI) w celu szybkiego podsumowania wiadomości. Z nowego raportu BBC wynika, że popularne chatboty popełniają poważne błędy w wynikach podsumowań.
Google Gemini ma najwyższy wskaźnik problematycznych podsumowań
Test obejmuje ChatGPT , Google Gemini , Microsoft Copilot i Perplexity AI . Na początek BBC zadało każdemu chatbotowi 100 pytań dotyczących wiadomości, prosząc, aby w miarę możliwości korzystali ze źródeł BBC News.
Eksperci BBC ocenili następnie jakość tych podsumowań. 51% streszczeń zawierało pewnego rodzaju błędy, które mogły obejmować nieścisłości faktyczne, pomyłki w cytatach lub nieaktualne informacje.
19% z nich zawierało jakiś rodzaj błędu rzeczowego, jak na przykład niepoprawne daty. Z kolei 13% cytatów przypisywanych BBC w streszczeniach zostało albo zmienionych w stosunku do oryginału, albo w ogóle nie znajdowało się w artykułach udostępnionych chatbotom.
Po przeanalizowaniu przez chatbota, najgorzej wypadł Gemini firmy Google — ponad 60% podsumowań zawierało problematyczne informacje. Na drugim miejscu znalazł się Microsoft Copilot z wynikiem 50%, natomiast ChatGPT i Perplexity uzyskały około 40% problematycznych odpowiedzi.
W swoim podsumowaniu BBC stwierdziła, że wiele problemów nie wynika wyłącznie z dezinformacji:
Badanie wykazało również, że zakres błędów popełnianych przez asystentów AI wykracza poza nieścisłości faktyczne. Testowani przez nas asystenci AI mieli problem z odróżnianiem opinii od faktów, wyrażali się publicystycznie i często nie uwzględniali niezbędnego kontekstu. Nawet jeśli wszystkie stwierdzenia w opinii są prawdziwe, tego typu problemy mogą prowadzić do otrzymania opinii wprowadzającej w błąd lub stronniczej.
Wiele osób nigdy nie próbowało używać chatbotów opartych na sztucznej inteligencji do podsumowywania wiadomości, ponieważ nie ufają niezawodności tej technologii. Ale wyniki badania i tak były zaskakujące, biorąc pod uwagę dużą liczbę niejednoznacznych wyników. Sztuczna inteligencja ma jeszcze długą drogę do przebycia, zanim stanie się niezawodnym sposobem zdobywania wiedzy na temat wiadomości.
Funkcje sztucznej inteligencji są wciąż w fazie rozwoju
Technologia sztucznej inteligencji, zwłaszcza chatboty, nadal rozwija się w szybkim tempie. Jak jednak pokazują badania BBC, oczekiwanie rzetelnych informacji na temat wiadomości jest obszarem bardzo problematycznym.
BBC pożałowała kolejnej funkcji opartej na sztucznej inteligencji: Apple Intelligence Notification Summary. W grudniu 2024 r. w podsumowaniu wiadomości kanału błędnie podano, że Luigi Mangione popełnił samobójstwo. Jest to mężczyzna oskarżony o zastrzelenie prezesa firmy zajmującej się opieką zdrowotną Briana Thompsona.