Aktywne Wpisy
just-dont-panic +581
No i przyszla ( ͡° ͜ʖ ͡°) pierwszy raz w życiu 5 cyfrowa. Trochę dumny, trochę już nie robi to na mnie takiego wrażenia, jak w czasach kiedy zarabiałem 2800 i wyobrażałem sobie jakby to było zarabiać dychę.
Tak czy siak cieszę się, warto było iść na studia, warto było chodzić na co druga imprezę, warto było coś zmienić w życiu. Pozdrawiam wszystkich ( ͡° ͜ʖ
Tak czy siak cieszę się, warto było iść na studia, warto było chodzić na co druga imprezę, warto było coś zmienić w życiu. Pozdrawiam wszystkich ( ͡° ͜ʖ
lukiboss +268
Chłopy pamiętajcie, jak bardzo #!$%@? by nie było nie bierzcie się za samotne madki. Ja wiem, że potrafią one być tak zdesperowane w szukaniu bankomatu, że wezmą nawet największego przegrywa, ale proszę was, nie zniżajcie się do takiego poziomu. Dla tego dziecka NIGDY nie będziecie tatą. Spróbujesz zwrócić uwagę madce, że dziecko coś #!$%@?ło to dostaniecie na mordę tekst "to nie Twoje dziecko, więc nie mów mi jak mam go wychowywać". "Tatą"
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.
Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.
Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.
GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.
#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt
─────────────────────
· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.
Mam tak samo jak Ty. Siedzę w US jako pryncypał AI za $700k i jak czytam prasę biznesowa to mi się nóż w kieszeni otwiera. Ale cóż to tak jak z pato-strimami - gawiedź kupi wszystko. Jak siedzisz w temacie to możesz się śmiać bo zarabiasz 3-10x tyle co frajerzy programiści ( ͡° ͜ʖ ͡°)
──────────
Niezła próba panie chatGPT. Taki niegroźny jesteś, już się nie boimy
Ani żeby wiedzieć że takie podejście to praktycznie ślepa uliczka dopóki nie znajdą sposobu na wydajne uczenie na praktycznie nieskończonej liczbie danych, a nie znajdą bo po prostu zwiększać zbioru treningowego nie da się w nieskończoność.
To samo z generacją obrazów, zaawansowana odszumiarka.
Teraz żeby zrobić coś lepszego trzeba się cofnąć i stworzyć sensowną metodę w obu przypadkach.
To
Organizacja wiedzy w ludzkim mózgu może i różni się bardzo w bezpośredniej implementacji. Co do jednak wielu właściwości jest bardzo podobna do LLM. Kolejne
@mirko_anonim:
Czy dodanie nauki to taki problem?
Poza tym - w momencie jak ma 130mld zmiennych, to jaka wagę nadać "nauce" w czasie pojedynczych rozmów z użytkownikiem?
Oczywiście algorytm zmyśla, kłamie, NIE DBA O PRAWDE. ale to bardziej kwestia dodatkowego kodu niż samego rdzenia.
Mogę sobie wyobrazić że GPT będzie dodawał "nie mam pewności ale", lub "wydaje mi się
A zeby przeszukac internet to ktos musi mu to zlecic i dalej placic za prad i karty graficzne ktore to beda przetwarzac, a to sa niemale kwoty....
Taka to AGI, ze bez
@mirko_anonim: Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡° ͜ʖ ͡°)
@fraciu: Pętla z priorytetem czasu rzeczywistego, która służy do tego aby określać cele działania na podstawie kolejki priorytetowej zdarzeń w twoim organizmie.