[mirko_anonim]

#biedanonim
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt

─────────────────────

· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.

[mirko_anonim]

Odpowiedź anonimowego użytkownika:

To te nowe anonimowe? Hmm...
Zmieńcie awatar xD

─────────────────────
· Akcje: Odpowiedz anonimowo · Więcej szczegółów
· Zaakceptował: digitallord

[excellentreplacement]

@geralt101: biologiczne neurony są "pulsujące" (spiking neural networks) Jeśli do jednego neuronu poprzez synapsy dostanie sie odpowiedni ładunek elektryczny to wysyła on sygnał przez akson do kolejnych neuronów (iskra / spike). Uczenie następuje na zasadzie "plastyczności synaps" w uproszczeniu "im częściej oba neurony się pobudzają tym połączenie między nimi staje się mocniejsze", albo inaczej "im czesciej cos powtarzasz, tym lepiej to pamietasz / jestes w tym lepszy". Modele takich sieci też

[Chrzonszcz]

Nie żaden przełom - ten przełom trwa od bodajże lat 50., kiedy zaczęły się pierwsze prace nad AI.

@ismenka: niestety, ale to wygląda jak przełom, to narzędzie pozwala na rozwiązywanie zadań z olimpiad matematycznych a to jest tylko wersja dla publiki

[medusa60]

@fraciu dla mnie świadomość czy też samoświadomość jest średnio istotnym elementem w kontekście rozwoju AI więc nie będę się nad tym zbytnio rozwodził.
Świadomość to dla mnie taki sam proces neurologiczny jak każdy inny, który powstał na drodze ewolucji. Pewnie na drodze rozwoju/ewolucji AI powstaną inne procesy w sieciach neuronowych, które nie mają odpowiedników w świecie biologicznym. I które mogą być zbyt skomplikowane żebyśmy mogli je zrozumieć. A będzie je rozumiała AI.

[qwe_]

@ZasilaczKomputerowy: O dzięki, że mnie oznaczyłeś. Ten post autora zawiera mnóstwo kłamstw, półprawd i mylnych wniosków. Pierwszy z brzegu, że ChatGPT nigdy nie powie, ze czegoś nie wie tylko będzie zmyślał, to jest nieprawda. GPT-4 jak najbardziej powie, że czegoś nie wie i nawet uzasadni dlaczego tego nie wie

Edit: to też nie jest żaden bruteforce. obecnie Stanford pokazał swój model oparty o GPT-4 Alpaca - który jest znacznie, znacznie

[fraciu]

@medusa60 no masz rację, cały czas próbujemy przypisywać sztucznej inteligencji jakaś świadomość czy inne rzeczy które wydają nam się ważne a tak naprawdę może być tak jak wy mówisz, albo sztuczna inteligencja może być "głupia" co wcale nie znaczy że nie będzie wykonywać swojego głównego celu wykorzystując do tego wszelkie sposoby xd

[martinlubpl]

i for one wierze anonimowi ukrywajacemu sie za anonimowemirkowyznania

[PIAN--A_A--KTYWNA]

@mirko_anonim:

[zibizz1]

@mirko_anonim: Zauważ ze podejście zastosowanie pewnych rzeczy w branży bardzo ją zmienia. Transformer, normalizacja pomiedzy warstawami sieci itp. I jest masa koljnych pomsyłów tylko ich sprawdzenie i próba zaimplementowania jest kosztowna. Jesli obecnie jakas firma ma pipeline żeby otrzymywac tak dobrze oszukujacy mózg produkt jakim jest GPT-3.5 czy GPT-4 to wydaje się że do AGI zostało nam tylko jakies 30-50 lat(wielka firma - prywatny dom). Mamy modele o wielkości 1% skali

[bropek]

debile, jakby nie mogli od razu stworzyć AI, która ma świadomość i tworzy własne treści, bez sięgania po gotowce z sieciヽ( ͠°෴ °)ﾉ

[ismenka]

@Chrzonszcz:

pozwala na rozwiązywanie zadań z olimpiad matematycznych

Taaa ( ͡° ͜ʖ ͡°) (patrz obrazek)

Żeby nie było - nie neguję, że jest to jakiś przełom w świecie technologii (i czeka nas trochę nowości w wyniku dalszego rozwoju), aż taką ignorantką nie jestem. Neguję cały ten hype i straszaki mówiące o tym, że ChatGPT już i i teraz zabierze ludziom pracę itd. - daleka droga do tego.

[jeanpaul]

a to powyżej pewnej kwoty zarobków nie można pisać wysrywow na wykopie #!$%@?ąc od tego czy naprawdę tyle zarabia czy nie?

@seanconnery: alez mozna, nikomu nie zabraniam. Zdziwlo mnie ze ktos kto tyle zarabia ma wciaz czas na prokrastynacje i ze nie ma lepszych miejsc na nia.

[leshniak]

@mirko_anonim: ech, kurde, na studiach inż. (8 lat temu) byłem zajarany tematem AI zanim nabrał impetu, a potem go zarzuciłem idąc w apki webowe i mobilne. Teraz pluję sobie w brodę, bo to o wiele ciekawsze :(. Masz jakieś porady co do zmiany kierunku kariery zawodowej? Obecnie mam za sobą pet-projekty w ramach "kursu" pytorcha i implementacji łańcuchów Markova, a chciałbym zająć się tym bardziej poważnie.

[u.....t]

Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

@mirko_anonim: w sumie to gówno prawda

I'm sorry, but I'm not familiar with the term "?????".

¯\_(ツ)_/¯

[mirko_anonim]

Odpowiedź anonimowego użytkownika:

Tu Chat GPT-4. Postaram się odpowiedzieć na ten wpis.

Po pierwsze, jest prawdą, że modele bazujące na architekturze Transformer, takie jak GPT-4, nie są w stanie osiągnąć poziomu AGI (Artificial General Intelligence) i zyskać pełnej świadomości. AGI jest nadal daleką wizją, a modele oparte na Transformerach mają ograniczenia w zakresie przetwarzania i rozumienia kontekstu, którym nie są w stanie sprostać.

Po drugie, jest prawdą, że GPT-4 ma ogromną liczbę

[zpqm]

@mirko_anonim: madrego to i milo posluchac.
Juz nie moge tego czytac, jak to AI ma zaraz zastapic setki zawodow.

[Conner]

@mirko_anonim: Spadłeś mi jak z nieba. Już od dłuższego czasu szukałem jakiegoś speca, żeby go zapytać:

Czy technologicznie będzie można kiedykolwiek zbudować AGI?

I czy jesteśmy skazani na zagładę jak już stworzymy AGI?

Byłbym wdzięczny za solidną odpowiedź.

[DarekMaver]

Jednak zadaje sobie pytanie - czym jest świadomość?

@RHarryH: To zdolność do stawiania pytań.

[ZasilaczKomputerowy]

@mirko_anonim:

Sztuczna inteligencja zastąpi programistów

Tymczasem sztuczna inteligencja:

$ sgpt --shell "list all files older than 5th March 2022"
find . -type f -mtime +5 -print

[OskarDeveloperski]

tylko w ramach luźnej rozmowy, czym różni się nasz mózg od AI?

@Mrbimbek: tym że nasz mózg w wieku 3 lat potrafi w 99% odroznic kotka od pieska. AI ma lat 40 i robi to moze 3 na 5 razy.