Aktywne Wpisy
![Cinoski](https://wykop.pl/cdn/c3397992/Cinoski_qQcU0yXF5v,q60.jpg)
Cinoski +117
Po 7 godzinach czekania na sorze przyjęli do szpitala mamę różowej po zawale ze znaczną niepełnosprawnością.
Przestaje mnie dziwić popularność znachorów.
Przestaje mnie dziwić popularność znachorów.
![TeselACC](https://wykop.pl/cdn/c3397992/TeselACC_WG0CL0BX3r,q60.jpg)
TeselACC +150
Dopiero dzisiaj dowiedziałem się że #pdk nie znaczy padaka tylko pozdro dla kumatych. Używałem tego źle przez lata. Wychodzi na to że ewidentnie nie jestem kumaty. Ale za to wiele wiadomości nagle nabralo sensu
#pdk #wstydliwewyznania #lepiejpoznonizwcale
#pdk #wstydliwewyznania #lepiejpoznonizwcale
Otóż kolejne źródło podaje, że OpenAI mogło testować GPT-4 na danych treningowych, zwłaszcza w aspekcie problemów programistycznych.
Temat ten podejmował wcześniej Horace He, który po wstępnym testowaniu GPT4 odkrył, że model rozwiązuje 10/10 problemów Codeforces sprzed 2021 roku i 0/10 najnowszych problemów (których nigdy wcześniej nie widział).
Tutaj link do threada:
https://twitter.com/cHHillee/status/1635790335535374336
Nowe badania Narayana z Princeton to potwierdzają. Jak piszą:
"Jako kolejny dowód na poparcie tezy prezentowanej przez Horace Ha, przetestowaliśmy GPT-4 na problemach Codeforces z różnych okresów w 2021 roku. Odkryliśmy, że może on regularnie rozwiązywać problemy z łatwej kategorii z przed 5 września, ale żadnych problemów po 12 września".
Koniec trenowania miał miejsce we wrześniu 2021, a więc model nie jest w stanie rozwiązać ani jednego nowego problemu programistycznego.
Dalej piszą oni, jeszcze ciekawsze rzeczy, otóż:
"W rzeczywistości możemy definitywnie pokazać, że model zapamiętał problemy w swoim zbiorze treningowym: po podaniu promptu z tytułem problemu na Codeforces, GPT-4 podaje link do dokładnego konkursu, w którym występuje ten problem".
Łamie to ogólnoprzyjętą zasadę, że nie testuje się na danych treningowych, bo system w taki sposób nie wnioskuje, ale zapamiętuje. Jest to także dość istotne w innych benchmarkach, które model może nie "rozwiązywać za pomocą wnioskowania", ale zwyczajnie wyciągać odpowiedzi z danych treningowych. Autorzy wskazują, że np. proste zmiany w treści pytań w MBA, które są nieistotne dla człowieka, sprawiają że model się gubi, co tylko dowodzi prezentowanej hipotezy.
Tutaj link do threada:
https://twitter.com/random_walker/status/1637929631037927424?s=46&t=m4xgLKFgqFafJXbRTotN1Q&fbclid=IwAR2iWkxaQuvjp7_rR2jdWlxUZYPCgpLgliG0lP5lAFWOwYT5OZ6ycYRZ2no
i artykułu:
https://aisnakeoil.substack.com/p/gpt-4-and-professional-benchmarks
#programowanie #chatgpt #programista15k #sztucznainteligencja
Na ten moment wygląda na to, że ChatGPT będzie przełomem przede wszystkim w wyszukiwaniu istniejących informacji.
Pytanie brzmi: co się stanie gdy ludzie zaczna masowo tworzyć
@WaveCreator: zdziwienie może wynikać z tego, że firma mająca tak wielu zdolnych inżynierów przeoczyła taki wydawałoby się oczywisty aspekt: że nie testuje się na danych treningowych. Jest też opcja, że wcale tego nie przeoczyli ( ͡° ͜ʖ ͡°)
@WaveCreator: Zdziwieniem jest fakt, że nie było podziału tej zawartości na dane treningowy i sprawdzające. Co by mogło oznaczać, że cały system jest "przetrenowany", ale dzięki temu na jak dużej ilości danych operuje, trudno to wykryć. Przynajmniej tak mógłbym wywnioskować na podstawie mojej miernej wiedzy ze studiów.
@WaveCreator: pewnie podobny jak przy "chowie wsobnym" ( ͡° ͜ʖ ͡°)
@zibizz1: Jak już mówiłem, moja wiedza o S.I. jest dosyć zakurzona, ale wydaje mi się, że jeśli dany model umie odpowiadać niemal ze 100% poprawnością na dane wejściowe ze zbioru danych uczących, a jednocześnie ma niemal 0% prawidłowych odpowiedzi na dane wejściowe
Jak trenujemy model żeby rozróżniał koty od psów, nagle mu dajemy cyfry i oczekujemy, że da dobre odpowiedzi no to nie jest on przetrenowany.
Ludzie ciągle nie rozumieją czym że czat GPT to model językowy, a nie do rozwiązywania układów równań czy tym bardziej do rozwiązywania zadań programistycznych.
2+6
2+9
4+6
To jeśli zdasz pytanie
3x8 to oczywiscie że nie bedzie umiał odpowiedzieć
20-6 także ni edzie umiał odpowiedzieć
ale na 6+7 już opdowie że to 13.1 xD bo t opyatnie z dziedziny
Jeszcze raz to napisze. GPT-4 uzupełnia i dostosowuje tekst a nie wnioskuje i rozkminia problemy algorytmiczne
@WaveCreator: Przypomina mi to trochę czas kiedy masowo powstawały blogi z różnymi dupnymi tekstami od domorosłych dziennikarzy, podróżników, filozofów i bóg wie kogo. Nikt tego nie czytał i umarły śmiercią naturalną.
Tak, wiem. I umie świetnie dostosować tekst odpowiedzi do pytań,
Jedno jest pewne, akcje MS zyskują i będą zyskiwały dalej dopóki OpenAI będzie prezentować kolejne "przełomy" i "nowe wersje",
@WaveCreator: model będzie się uczył na danych wygenerowanych przez samego siebie (rękami
@638F3D: Generalnie tak. Ale sam fakt, że potrafi np. zestawić dwie informacje i przedstawić to w sposób zupełnie zrozumiały dla człowieka (w postaci spójnie logicznego tekstu) to i tak gigantyczny sukces jego twórców.
Ludzki mózg działa w sumie podobnie, przetwarza bodźce które dostarcza mu otoczenie przez zmysły. Tyle że potrafi je przemielić tak,
Komentarz usunięty przez autora