Aktywne Wpisy
![dajgryza](https://wykop.pl/cdn/c3397992/dajgryza_LqFBFbsiee,q60.jpg)
dajgryza +201
ej @M_B ja zdazylem zobaczyc zanim usunales zapomniales sie przelogowac? xD postujesz dziewczynki a nam zabraniasz postowac o murzynachxDDDD?
![dajgryza - ej @M_B ja zdazylem zobaczyc zanim usunales zapomniales sie przelogowac? x...](https://wykop.pl/cdn/c3201142/675f7410b5c566f40f719a95bf4a737c4630be177447a0398c4f7c356a6aeef0,w150.jpg?author=dajgryza&auth=01859aa4eb4b51743cb70578ad5a1547)
źródło: Zdjęcie z biblioteki
Pobierz![novyr9](https://wykop.pl/cdn/c3397992/novyr9_lEhpMelXJQ,q60.jpg)
novyr9 +38
Statek badawczy RV Flip był do 2023 r. jedynym statkiem na świecie, który mógł zmienić pozycję z poziomej na pionową na środku oceanu. Ma około 108 metrów długości . Zaprojektowany tak, aby mógł zmienić pozycję pionową o 90 stopni w linii prostej, tak aby przód statku na górze miał 17 m. wysokości, a na dole zanurzył się na 91 m. długości, czyli większość statku była zanurzona pod wodą. To pomaga statkowi w
![novyr9 - Statek badawczy RV Flip był do 2023 r. jedynym statkiem na świecie, który m...](https://wykop.pl/cdn/c3201142/bf556fc0b2735917696cb0551909b00836e551e0ad3789121d108cd71c8aa76d,w150.jpg?author=novyr9&auth=9421a2d8d323f95c01027363dc29c81d)
źródło: Zdjęcie z biblioteki
Pobierz
Otóż kolejne źródło podaje, że OpenAI mogło testować GPT-4 na danych treningowych, zwłaszcza w aspekcie problemów programistycznych.
Temat ten podejmował wcześniej Horace He, który po wstępnym testowaniu GPT4 odkrył, że model rozwiązuje 10/10 problemów Codeforces sprzed 2021 roku i 0/10 najnowszych problemów (których nigdy wcześniej nie widział).
Tutaj link do threada:
https://twitter.com/cHHillee/status/1635790335535374336
Nowe badania Narayana z Princeton to potwierdzają. Jak piszą:
"Jako kolejny dowód na poparcie tezy prezentowanej przez Horace Ha, przetestowaliśmy GPT-4 na problemach Codeforces z różnych okresów w 2021 roku. Odkryliśmy, że może on regularnie rozwiązywać problemy z łatwej kategorii z przed 5 września, ale żadnych problemów po 12 września".
Koniec trenowania miał miejsce we wrześniu 2021, a więc model nie jest w stanie rozwiązać ani jednego nowego problemu programistycznego.
Dalej piszą oni, jeszcze ciekawsze rzeczy, otóż:
"W rzeczywistości możemy definitywnie pokazać, że model zapamiętał problemy w swoim zbiorze treningowym: po podaniu promptu z tytułem problemu na Codeforces, GPT-4 podaje link do dokładnego konkursu, w którym występuje ten problem".
Łamie to ogólnoprzyjętą zasadę, że nie testuje się na danych treningowych, bo system w taki sposób nie wnioskuje, ale zapamiętuje. Jest to także dość istotne w innych benchmarkach, które model może nie "rozwiązywać za pomocą wnioskowania", ale zwyczajnie wyciągać odpowiedzi z danych treningowych. Autorzy wskazują, że np. proste zmiany w treści pytań w MBA, które są nieistotne dla człowieka, sprawiają że model się gubi, co tylko dowodzi prezentowanej hipotezy.
Tutaj link do threada:
https://twitter.com/random_walker/status/1637929631037927424?s=46&t=m4xgLKFgqFafJXbRTotN1Q&fbclid=IwAR2iWkxaQuvjp7_rR2jdWlxUZYPCgpLgliG0lP5lAFWOwYT5OZ6ycYRZ2no
i artykułu:
https://aisnakeoil.substack.com/p/gpt-4-and-professional-benchmarks
#programowanie #chatgpt #programista15k #sztucznainteligencja
źródło: Zrzut ekranu 2023-03-26 213827
Pobierzhttps://arxiv.org/abs/2203.08242
Istotą działania modeli językowych jest wnioskowanie, czyli rozwiązywanie problemów podobnych do tych, które znajdują się w zbiorze treningowym. Nie tych samych. Nie testuje się
Wział nowo dodane zadania o zblizonej trudności i ma pretensje że chat sobie z nimi nie radzi a ze starymi tak. To sa nowe problemy których chat nie widział. Jesli wezmiesz popularne zadanie
Wymysiłem pewne zadanie, poradził sobie, przeformułowałem i nadal
Ja nie stawiam, żadnej tezy, tzn. takiej, że model jest lub nie jest, albo będzie lub nie będzie w stanie zrobić x,y,z. Martwi mnie tylko to, że nauka została skomercjalizowana w tym aspekcie w taki sposób, że naukowcy (OpenAI) nie muszą podawać już żadnych informacji nt. modelu który stworzyli, ani tego jak dokładnie działa, a społeczność to przyjmuje na wiarę, "bo działa dobrze". Zgadzam się, działa super, ale jednocześnie takie podejście tworzy patologię, która sprawia, że nie wiemy co jest hypem, a co przełomem. Bo realnie nie wiemy nic. Te przykłady pokazują, jak bardzo kruche mogą być wyniki modelu, ale nie są dowodem, bo ponownie, nie wiemy na czym model był trenowany.
Troche zgadzam się z Piekniewskim, w poniższych
@zibizz1: nie wiem jak jeden przykład mógłby wystarczyć, żeby obalić twierdzenie, że dane testowe są zanieczyszczone danymi uczącymi.
Ja dla przykładu wziąłem takie zadanie z codeforces. Po przekopiowaniu treści z jedną zmianą (liczba liter ma być zapisana słownie, a nie za pomocą cyfr) ChatGPT (3.5) ciągle przedstawia wynik w poprzedniej formie. Bing podobnie,
Ale to to samo co FSD od Tesli. Nikt nie wie które elementy są zaprogramowane a które wytrenowane. Liczy się efekt końcowy, zeby skasować za ten efekt pieniądze i nikt nie będzie pozwalał ich badac naukowo, bo to produkt komercyjny
Zrobiłem to samo zadanie, napisałem pytanie zupełnie sam w diametralnie inny sposób, w innym jęsyzku z innymi przykładami i danymi, ale typ zadania jest dokładnie ten sam. I dosatłem w 100% poprawną odpowiedź
Zapisanie liczby
źródło: zadanie
Pobierzźródło: zadanie
Pobierz@zibizz1: Oj sorry, ale przecież to co piszesz to takie bzdury, że szkoda mi marnować czas na dalszą dyskusję. Dane uczące i dane testujące to coś co w sporym stopniu definiuje jakość modelu. W skrajnych przypadkach może powodować, że zamiast prawdziwego uczenia maszynowego, mamy po prostu wielką bazę danych. Nie mówię, że tak źle
@JamesJoyce:
To jest mój największy problem z tym co się dzieje od początku roku w obrębie AI. To wszystko super zajebiście działa i jest imponujące, ale ludzie, którzy to udostępniają w ogóle nie zastanawiają się nad społecznymi następstwami tego, nasze prawo,
źródło: zadanie
Pobierz@zibizz1: nie rozumiem tego zdania. Twierdzisz, że dane testowe nie mają znaczenia dla jakości odpowiedzi?
No i okazuje się, że użytkownik musi wiedzieć, które pytania i odpowiedzi były w danych uczących,
Popatrz na zawody, które się obawiają automatyzacji przez SI, zgodnie z clickbaitowymi artykułami, np. copywriterzy czy prawnicy. Kiedy prawnik twierdzi, że model napisał za niego wzór umowy, to jednak chciałby on, żeby to rzeczywiście była jakaś sklejka stworzona na podstawie podobnych dokumentów, a nie np. dokument wzięty bezpośrednio ze strony internetowej innej kancelarii. Tak samo jest z pisaniem każdego innego tekstu. Prosisz o wyjaśnienie czegoś, a wyjaśnienie okazuje się być bezpośrednim cytatem z czyjejś pracy, bez podania źródła, czyli kradzieżą.
Jednak dalej robi się jeszcze ciekawiej. Sam doświadczałem tego w pracy badawczej. Otóż jeśli wejdziesz w jakiś temat głębiej, chatgpt, także oparty na gpt4, poda ci nieistniejące artykuły naukowe, które ponoć dowodzą tezy którą podaje. Skądś jednak wzięły się dosłowne definicje naukowe, które wcześniej uzyskałeś. Skąd? No może właśnie z danych treningowych. Jest to jeden z aspektów tzw. halucynacji, ale w zakresie większym niż się o tym z reguły