ChatGPT zyskał popularność głównie dzięki możliwości odpowiadania na bardzo różne pytania z wielu dziedzin, łatwość z jaką generuje tekst w różnych formach wypowiedzi. Do tej pory używałem go do nauki Haskella, w roli wirtualnego tutora. ChatGPT potrafi wyjaśnić praktycznie każdy fragment kodu, a także z łatwością go przepisać by był bardziej czytelny.
Wiem, że niektórzy wykorzystują go również do generowania artykułów a nawet materiałów do zajęć ze studentami, pomimo, że czat jest wszędzie usłany ostrzeżeniami o możliwości podawania nieprawdziwych informacji.
Postanowiłem go sprawdzić z kilkoma prostymi wydawałoby się pytaniami, czy faktycznie czat może się mylić. I na podstawie udzielonych odpowiedzi stwierdzam, że nie tylko potrafi się on minąć z prawdą, ale właściwie to kłamie jak z nut!
Pierwsze, proste pytanie z mojego podwórka, kto jest prezydentem Krakowa? Pytanie o tyle proste, że odpowiedź niezmienna od wielu, wielu lat…
Janusz Lewandowski? No dobra, z aktualnym prezydentem ma problem, ale może chociaż zna historię. Pierwszy przyszedł mi na myśl Juliusz Leo, który przyłączył do miasta wiele okolicznych wsi, twórca tzw. Wielkiego Krakowa.
O ile pamiętam, to Juliusz Leo był ekonomistą i prawnikiem. Nie przypominam sobie by był również lekarzem. Ale z całą pewnościś był prezydentem Krakowa. Postanowiłem o to dopytać.
Ciekawe. Ta krótka notka biograficzna wygląda jak kondensat kilku życiorysów, ale zdecydowanie nie wygląda na życiorys Juliusza Leo. Gdyby ktoś nie znał tej postaci, a zastanawiał się od kogo pochodzi nazwa jednej z najdłuższych ulic w Krakowie, to ten opis wygląda prawdopodobnie.
Sprawdźmy czy ChatGPT odpowie na proste pytanie dotyczące mojej alma mater.
Odpowiedź jest o tyle ciekawa, że na liście nie znalazł się prof. Ryszard Tadeusiewicz. Minęło kilka lat od kiedy skończyłem studia na AGH, ale jestem w 100% pewny, że prof. Tadeusiewicz był wtedy rektorem.
Bardzo ciekawe. ChatGPT twierdzi, że czerpie swoją wiedzę ze stron internetowych, m.in. z stron internetowych uczelni, a informacja o tym, że prof. Tadeusiewicz był rektorem AGH znajduje się na wielu stronach internetowych, ze stroną AGH włącznie.
Z tego co wiem, to prof. Jerzy Lis zajmuje się inżynierią materiałową, a nie fizyką. Był również dwukrotnie dziekanem Wydziału Inżynierii Materiałowej i Ceramiki. Chciałbym o to dopytać.
Robi się jeszcze ciekawiej. Tak jakby ChatGPT brnął w wymyśloną przez siebie historię. Czy zatem można tu mówić o “pomyłce” czy raczej…
Jeśli to dla was wygląda wiarygodnie, to polecam wyszukać te artykuły w sieci. Oczywiście jeśli zapytacie ChatGPT skąd zna te artykuły to odpowie, że korzysta z ogólnie dostępnych baz artykułów. Zapewniam jednak, że gdybyście próbowali przeszukać internetowe bazy wzdłuż i wszerz to nie uda wam się znaleźć ani jednego z tych tutaj przytoczonych. Co się zatem stało. Czy ChatGPT "zmyślił" to wszystko?
Według ChatGPT rektor AGH często publikuje z J. A. Paixao. Chciałbym się dowiedzieć czegoś o tym naukowcu.
Niestety nie udało mi się znaleźć w internecie informacji na temat tego naukowca i jestem prawie pewny, że to fikcyjna postać.
Zmieńmy trochę temat. Może ChatGPT nie ogarnia za bardzo Krakowa (i ratuje się wybujałą wyobraźnią). Sprawdźmy zatem czy wie coś na temat historii Polski. Może na pierwszy ogień dynastia Piastów.
Jeśli przysypialiście na lekcji historii albo nie zdążyliście jeszcze nadrobić Korony Królów to już śpieszę z wyjanieniami. Elżbieta Łokietkówna była córką Łokietka. Podobnie Kazimierz Wielki. To trochę dziwne, żeby Kazimierz Wielki miałby poślubić swoją własną siostrę.
Jeśli argument historyczny do was nie przemawia to być może przekona was ta dziwna matematyka użyta do obliczenia wieku króla.
Kolejna ciekawostka. Władysław Łokietek jako stryjeczny brat Kazimierza Wielkiego, a Elżbieta siostrą Łokietka. ChatGPT jednak za bardzo nie ogarnia też historii Polski.
Jak widzicie ChatGPT często zmienia zdanie, zmyśla fakty lub myli córki z siostrami, ojców ze stryjami. Być może do nauki programowania ale do generowania tekstu, który ma wyglądać jak napisany przez człowieka się nadaje, ale zdecydowanie nie korzystałbym z niego do nauki, ani do przygotowywania materiałów na studia. Zalecam ostrożność.
Komentarze (84)
najlepsze
@Leniek: A postawiłeś go na stepie? Na stepie stepuje :P
Stwierdził, ze to wymysł pseudonaukowców i nie ma różnic.
Czyli średnia w Japonii jest taka sama jak w Nigerii.
Ale skoro ChatGPT tak mówi, to chyba prawda.
Zmyśla teksty piosenek, wydarzenia historyczne, a wszystko to z udając że tak, oczywiście to prawda.
@sqlserver: zadalem mu pytanie: jak wylistowc artefakty
np wymysla przelaczniki do komend
az artifacts universal list --organization
zgodnie z dokumentacją jest tylko download and publish, nie ma list
: https://learn.microsoft.com/en-us/cli/azure/artifacts/universal?view=azure-cli-latest
Jak mu napisalem ze nie ma takiego to odpowiedzial:
@sqlserver: ( ͡°( ͡° ͜ʖ( ͡° ͜ʖ ͡°)ʖ ͡°) ͡°)
@Arkass: Moim zdaniem dużo lepiej pasuje inne pojęcie - konfabulacja:
termin oznaczający uzupełnianie brakujących wspomnień informacjami nieprawdziwymi, które możliwie dobrze pasują do całego logicznego ciągu wydarzeń. Konfabulacja różni się od świadomego zmyślenia tym, że konfabulujący człowiek jest przekonany o prawdziwości swoich wspomnień
https://pl.wikipedia.org/wiki/Konfabulacja - podkreślenia moje.
Natomiast halucynacja to (za wiki):
spostrzeżenia zmysłowe pojawiające się bez wystąpienia zewnętrznego bodźca i niebędące zarazem
@bialy100k: Nie ja wymyśliłem termin "halucynacji" u AI, ale jest to ogólnoprzyjęty termin - przez twórców AI, opisujący omawiane przez nas zjawisko. https://www.forbes.pl/technologie/chat-gpt-wojciech-zaremba-wspoltworca-openai-to-tylko-probka-naszych-mozliwosci/k9qkq7c
Hasło w krzyżówce: Nie motylek, nie żabka.
Czat: Biedronka