[mirko_anonim]

#biedanonim
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt

─────────────────────

· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.

[notBart]

@mirko_anonim piszesz o nowym podejsciu do uczenia sieci - czy takie cos zostalo juz wymyslone? Jest jakis koncept?

[mirko_anonim]

Odpowiedź anonimowego użytkownika:

Mam tak samo jak Ty. Siedzę w US jako pryncypał AI za $700k i jak czytam prasę biznesowa to mi się nóż w kieszeni otwiera. Ale cóż to tak jak z pato-strimami - gawiedź kupi wszystko. Jak siedzisz w temacie to możesz się śmiać bo zarabiasz 3-10x tyle co frajerzy programiści ( ͡° ͜ʖ ͡°)

──────────

[lord_xenu]

@mirko_anonim: otóż to. I jeszcze te debilne gadanie: trzense siem i bojem sie. i zdjęcie terminatora.

[BreathDeath]

@mirko_anonim: Po prostu masz ból dupy bo AI zabierze Ci prace. Powinieneś się bać! Dlaczego się nie boisz? ;)

[Mrbimbek]

@mirko_anonim: oczywiście masz w 100% rację, tylko w ramach luźnej rozmowy, czym różni się nasz mózg od AI? Czyż nie jest to zbiór informacji i wyszukiwanie najlepszej odpowiedzi do zadanego pytania? Co powoduje że AI nie jest w stanie rozwiązać pewnych zadań? Może nie został po prostu nauczony jak sobie radzić z wzorami, bo my też korzystamy z tego czego się nauczyliśmy, mózg nie ma żadnych magicznych mocy. Może AI

[loczyn]

@Mrbimbek Nie no mózg od tego badziewia to jest eony przed :D

[WMPP]

@Mrbimbek: ludzie potrafią wymyślać nowe (najczęściej nieudane) pomysly i analizować dlaczego się nie udały

[yeloneck]

@mirko_anonim: jezu, znowu to gówno ożyło i będą wrzucać takie wysrywy...

[Anoniemamowy]

@mirko_anonim:

Niezła próba panie chatGPT. Taki niegroźny jesteś, już się nie boimy

[RedBaron]

@mirko_anonim: co nie zmienia faktu ze ten chat będzie lepszym lekarzem i prawnikiem niz człowiek

[T.....2]

@mirko_anonim: Nie trzeba się na tym znać żeby wiedzieć że jest overhyped.
Ani żeby wiedzieć że takie podejście to praktycznie ślepa uliczka dopóki nie znajdą sposobu na wydajne uczenie na praktycznie nieskończonej liczbie danych, a nie znajdą bo po prostu zwiększać zbioru treningowego nie da się w nieskończoność.
To samo z generacją obrazów, zaawansowana odszumiarka.
Teraz żeby zrobić coś lepszego trzeba się cofnąć i stworzyć sensowną metodę w obu przypadkach.

[Dragonan]

@mirko_anonim: AGI oparta o LLM nie musi mieć świadomości, wystarczy że będzie posiadać te same funkcjonalności co człowiek, a więc pamięć roboczą, możliwość uczenia się, zbiór celi które sama określa i ma możliwość ich realizacji, a także możliwość wykonywania czynności w oparciu o które może się uczyć.

Organizacja wiedzy w ludzkim mózgu może i różni się bardzo w bezpośredniej implementacji. Co do jednak wielu właściwości jest bardzo podobna do LLM. Kolejne wyrazy w twojej głowie pojawiają się tak samo wyliczane na podstawie poprzednich. Są obecne w twoim "dialogu wewnętrznym" tylko przez części sekundy i potem znikają, chyba że skoncentrujesz się i podejmiesz decyzję o odłożeniu ich do pamięci roboczej - wyobraźni.

A te rzeczy jak pamięć robocza, podejmowanie decyzji już można łatwo zaimplementować w oparciu o LLM i podejmowane są z sukcesami próby implementacji takich AI. Na razie to wychodzi koślawo i powstają jakieś frankenshtainy, ale to nie wygląda na wielki

[graf_zero]

GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania.

@mirko_anonim:
Czy dodanie nauki to taki problem?

Poza tym - w momencie jak ma 130mld zmiennych, to jaka wagę nadać "nauce" w czasie pojedynczych rozmów

[obieq]

@mirko_anonim: wystarczy, ze ChatGPT 3,5 nie wie co sie dzialo na swiecie po 2021 roku. Do poki ktos go nie wytrenuje i nie nakarmi nowszymi (sensownymi) danymi nie bedzie wiedzial wiecej. Jak widac nie potrafi nawet sam przeszukac internetu.
A zeby przeszukac internet to ktos musi mu to zlecic i dalej placic za prad i karty graficzne ktore to beda przetwarzac, a to sa niemale kwoty....
Taka to AGI, ze

[S.....t]

@Mrbimbek Widzisz w czyjejs wypowiedzi "czyż" i juz wiesz, ze masz do czynienia z pseudointelektualista

[fraciu]

@mirko_anonim czym jest świadomość? itp. itd. czemu "sztuczna inteligencja" musi ją w sumie mieć? wystarczy że będzie dożyć np. do rozprzestrzeniania się bo tak będzie miała napisane. Ogulnie to ciężkie zagadnienie

[Mrbimbek]

@ScholarsHut: urzędnik ( ͡° ͜ʖ ͡°)

[look997]

Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

@mirko_anonim: Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡° ͜ʖ ͡°)

[ZasilaczKomputerowy]

@mirko_anonim: @qwe_

[ZasilaczKomputerowy]

czym jest świadomość?

@fraciu: Pętla z priorytetem czasu rzeczywistego, która służy do tego aby określać cele działania na podstawie kolejki priorytetowej zdarzeń w twoim organizmie.