#biedanonim Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.
Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.
Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.
GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.
Mam tak samo jak Ty. Siedzę w US jako pryncypał AI za $700k i jak czytam prasę biznesowa to mi się nóż w kieszeni otwiera. Ale cóż to tak jak z pato-strimami - gawiedź kupi wszystko. Jak siedzisz w temacie to możesz się śmiać bo zarabiasz 3-10x tyle co frajerzy programiści ( ͡°͜ʖ͡°)
@mirko_anonim: oczywiście masz w 100% rację, tylko w ramach luźnej rozmowy, czym różni się nasz mózg od AI? Czyż nie jest to zbiór informacji i wyszukiwanie najlepszej odpowiedzi do zadanego pytania? Co powoduje że AI nie jest w stanie rozwiązać pewnych zadań? Może nie został po prostu nauczony jak sobie radzić z wzorami, bo my też korzystamy z tego czego się nauczyliśmy, mózg nie ma żadnych magicznych mocy. Może AI po
@mirko_anonim: Nie trzeba się na tym znać żeby wiedzieć że jest overhyped. Ani żeby wiedzieć że takie podejście to praktycznie ślepa uliczka dopóki nie znajdą sposobu na wydajne uczenie na praktycznie nieskończonej liczbie danych, a nie znajdą bo po prostu zwiększać zbioru treningowego nie da się w nieskończoność. To samo z generacją obrazów, zaawansowana odszumiarka. Teraz żeby zrobić coś lepszego trzeba się cofnąć i stworzyć sensowną metodę w obu przypadkach.
@mirko_anonim: AGI oparta o LLM nie musi mieć świadomości, wystarczy że będzie posiadać te same funkcjonalności co człowiek, a więc pamięć roboczą, możliwość uczenia się, zbiór celi które sama określa i ma możliwość ich realizacji, a także możliwość wykonywania czynności w oparciu o które może się uczyć.
Organizacja wiedzy w ludzkim mózgu może i różni się bardzo w bezpośredniej implementacji. Co do jednak wielu właściwości jest bardzo podobna do LLM. Kolejne
@mirko_anonim: wystarczy, ze ChatGPT 3,5 nie wie co sie dzialo na swiecie po 2021 roku. Do poki ktos go nie wytrenuje i nie nakarmi nowszymi (sensownymi) danymi nie bedzie wiedzial wiecej. Jak widac nie potrafi nawet sam przeszukac internetu. A zeby przeszukac internet to ktos musi mu to zlecic i dalej placic za prad i karty graficzne ktore to beda przetwarzac, a to sa niemale kwoty.... Taka to AGI, ze bez
@mirko_anonim czym jest świadomość? itp. itd. czemu "sztuczna inteligencja" musi ją w sumie mieć? wystarczy że będzie dożyć np. do rozprzestrzeniania się bo tak będzie miała napisane. Ogulnie to ciężkie zagadnienie
@fraciu: Pętla z priorytetem czasu rzeczywistego, która służy do tego aby określać cele działania na podstawie kolejki priorytetowej zdarzeń w twoim organizmie.
O jasny #!$%@?... PIS pomagał przemycać do Europy oligarchów z Rosji i ich bananowe dzieci a co więcej nadawał im obywatelstwo... Brawo, brawo, powinszować! #sejm #ukraina #rosja #wojna #wtf #bekazpisu #polityka
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.
Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.
Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.
GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.
#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt
─────────────────────
· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.
Mam tak samo jak Ty. Siedzę w US jako pryncypał AI za $700k i jak czytam prasę biznesowa to mi się nóż w kieszeni otwiera. Ale cóż to tak jak z pato-strimami - gawiedź kupi wszystko. Jak siedzisz w temacie to możesz się śmiać bo zarabiasz 3-10x tyle co frajerzy programiści ( ͡° ͜ʖ ͡°)
──────────
Niezła próba panie chatGPT. Taki niegroźny jesteś, już się nie boimy
Ani żeby wiedzieć że takie podejście to praktycznie ślepa uliczka dopóki nie znajdą sposobu na wydajne uczenie na praktycznie nieskończonej liczbie danych, a nie znajdą bo po prostu zwiększać zbioru treningowego nie da się w nieskończoność.
To samo z generacją obrazów, zaawansowana odszumiarka.
Teraz żeby zrobić coś lepszego trzeba się cofnąć i stworzyć sensowną metodę w obu przypadkach.
To
Organizacja wiedzy w ludzkim mózgu może i różni się bardzo w bezpośredniej implementacji. Co do jednak wielu właściwości jest bardzo podobna do LLM. Kolejne
@mirko_anonim:
Czy dodanie nauki to taki problem?
Poza tym - w momencie jak ma 130mld zmiennych, to jaka wagę nadać "nauce" w czasie pojedynczych rozmów z użytkownikiem?
Oczywiście algorytm zmyśla, kłamie, NIE DBA O PRAWDE. ale to bardziej kwestia dodatkowego kodu niż samego rdzenia.
Mogę sobie wyobrazić że GPT będzie dodawał "nie mam pewności ale", lub "wydaje mi się
A zeby przeszukac internet to ktos musi mu to zlecic i dalej placic za prad i karty graficzne ktore to beda przetwarzac, a to sa niemale kwoty....
Taka to AGI, ze bez
@mirko_anonim: Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡° ͜ʖ ͡°)
@fraciu: Pętla z priorytetem czasu rzeczywistego, która służy do tego aby określać cele działania na podstawie kolejki priorytetowej zdarzeń w twoim organizmie.