Wpis z mikrobloga

#biedanonim
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt



· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.

  • 142
@Mrbimbek: powinieneś chyba pytać czym się różni mózg od modelu nie od AI. Wtedy znajdziesz odpowiedzi. Ludzki mozg nie wybiera brute for em, tylko myśl. Chat gtp nie jest wstanie wykonać najprostrzego na świecie polecenia jeśli nie został wcześniej wytrenowany. Nie ważne czy chodzi o jego własną dokumentację czy zmianę formatowania kodu. Chat tego dla Ciebie nie zrobi. Nawet jako Google na sterydach jest średni bo wszystko trudniejsze niż Google ->
Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany.


@mirko_anonim: o ile wiem to jest jeszcze prostsze, generując odpowiedź za każdym razem na wejście jest wrzucana cała poprzednia rozmowa. Dlatego też jest ograniczenie do X znaków na całą konserwację.
via mirko.proBOT
  • 6
Odpowiedź anonimowego użytkownika:

Same here. Nawet na Hacker News minusują jak się to napisze. Branża zachłysneła się generatorem tekstu, bo gada jak człowiek i myślą, że to prawie AGI. Ale przełom faktycznie nastąpił, bo transformery nie potrafiły utrzymać kontekstu i focusa jeszcze kilka lat temu.


· Akcje: Odpowiedz anonimowo · Więcej
@ZasilaczKomputerowy to jedna z definicji, inna to że wiesz że jesteś i inne bzdury, ale jak udowodnić że coś jest świadome a coś nie?
program może być świadomy że jest programem i reagować na bodźce zewnętrzne.
To co napisałeś robią już programy.... może przciez rozdzielić działania z uwzględnieniem jakiś tam bodźców.
@mirko_anonim: Pianie panikarzy jak przy każdej nowej technologii. Elona ciezko brać za autorytet w dziedzinie bo mowi co mu dodaje popularności (a stworzenie z si wroga i jego jako obrońcę jest mu bardzo na rękę). W tym momencie mamy tyle możliwych zagrożeń ze ryzyko zwiazane z si jest praktycznie żadne.
@PeterGosling: to nie jest gowno, ale tez nie jakiś cud techniki. Takie rzeczy AI robiło już w 2016 roku na mniejsza skale, bo zależało to od mocy obliczeniowej. Za 3-4 lata takie modele będą w stanie Ciebie zdiagnozować w ciągu 10s (już takie istnieją, są wykorzystywane) i nie będzie to nic niezwykłego, ale zawsze lekarz bedzie musial sprawdzić poprawność. Modele te są wielkim ułatwieniem. Czat GPT stworzy większa produktywność wszystkich, pewnie
skoro wiele zadań wykonuje po stokroć lepiej lub szybciej niż człowiek


@PeterGosling: W takim razie taki człowiek nie miał już od lat nie miał żadnej wartości na rynku pracy xD
@mirko_anonim: byłam na konferencji, gdzie ChatGPT ciagle się przewijał, zresztą moja branża tylko o tym mówi (i każde spotkanie i artykuł branżowy o tym jest xD), tak jak o końcu mojego zawodu (copywriting). Póki co dla mnie jest to zwykły hype i nakręcanie się, gdy w rzeczywistości to jest kolejne narzędzie przydatne w pracy, którego trzeba się nauczyć. Nie żaden przełom - ten przełom trwa od bodajże lat 50., kiedy zaczęły
@Anoniemamowy: o wczoraj dawałem mu różne zadania, o ile z odpisywaniem na mail3 za mnie radził sobie świetnie xD to z uporem maniaka w rozprawce która mial napisać za mnie twierdził ze Austria brała udział we wszystkich rozbiorach pl. Do tego robil koszmarne błędy w prostych zadnaiach z logiki. Jak dla mnie narzędzie fajne (nie muszę odpisywać na @ wrzucam co ma być napisane i @ bazowego i komiec) o tyle
bo to chatgpt rozwiązuje realne problemy


@Serans: nie rozwiązuje realne problemy, a podaje znane rozwiązania realnych problemów. Czasem umie skleić ze sobą 2 rozwiązania, co jest imponujące, a czasem podaje rozwiązanie na inny problem, który jest tylko podobny do problemu, który został podany przez użytkownika. Co pokazuje jego ograniczenia.