Wpis z mikrobloga

#biedanonim
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt



· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.

  • 142
@mirko_anonim: OP gówno się zna na temacie, skok jest niesamowity i to potwierdzaja wszyscy ci co sie na temacie znają czyt. nie polscy programiści co są jedynie podwykonawcami a startupy w polsce nie istnieją.

Po raz enty #!$%@? edukacja i ego naszych rządzących ale też natężenie januszexów spowodowało że jesteśmy w tyle, i to nawet widać po tych wpisach. Szansa była, sporo osób dosyć mocno na ten temat mówiło ale #!$%@?
@look997

>Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.


@mirko_anonim: Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡° ͜ʖ ͡°)


Ja się nie doczekałem odpowiedzi "nie wiem" że strony GPT, pytałem o nieco bardziej specjalistyczne rzeczy to przekonująco zmyśla, jak zapytałem np o słownik techniczny Polsko niemiecki z zakresu
czym różni się nasz mózg od AI?


@Mrbimbek: myślimy w bardziej abstrakcyjny sposób niż zapamiętywanie tekstu. Potrafimy się uczyć, mamy ciało za pomocą którego możemy zmienić to co odbieramy bodźcami. I najważniejsze: jesteśmy zwierzętami, mamy popędy a rolą naszego mózgu jest ich zaspokojenie
@Wilkudemoner: OP wykopek się na tym ZNA i wie lepiej od naukowców, którzy opublikowali 150 stronicowy raport uzasadniający, że jednak OP nie ma racji xD

Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.


Może zapoznasz się z opiniami ekspertów przynajmniej z poniższego filmiku, który streszcza podlinkowany raport?

https://www.researchgate.net/publication/369449949_Sparks_of_Artificial_General_Intelligence_Early_experiments_with_GPT-4/fulltext/641bc23066f8522c38c784e8/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4.pdf?origin=publication_detail
Bananek2 - @Wilkudemoner: OP wykopek się na tym ZNA i wie lepiej od naukowców, którzy...
mamy popędy a rolą naszego mózgu jest ich zaspokojenie


@Saly: dodanie wewnętrznej motywacji jest jednym z kierunków rozwoju AI, obejrzyj sobie podlinkowany wyżej filmik gdzie jest to wspominane

kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany


@mirko_anonim: jak obejrzysz powyższy materiał dowiesz się, że kolejnymi kierunkami jest rozdzielnie na myślenie szybkie i wolne podobnie jak u ludzi
Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne.


Ile powstaje nowych algorytmów rocznie wartych nauczenia? Niech zna te powstałe powiedzmy do 2021 i to jest good enough do 99% zastosowań, a ten brakujący 1% będzie dorabiany w placówce R&D na zachodzie a nie w firmie outsourcingowej. Open AI zatrudniło 1000 kontraktorów z
Może nie został po prostu nauczony jak sobie radzić z wzorami, bo my też korzystamy z tego czego się nauczyliśmy, mózg nie ma żadnych magicznych mocy.


@Mrbimbek:
A jednak ktoś te wzory odkrył i zapisał i ktoś ciągle odkrywa i zapisuje nowe. I nie jest to chat GPT choć został wytrenowany na całej wiedzy dostępnej w internecie.
sieć się nie uczy


@mirko_anonim: Próbowałeś? Nie wiem czy mówimy o tym samym, ale testowałem przyłapywanie go na błędzie, wyprowadzałem go z tego błędu a za kilka dni prosiłem znajomych (dla pewności, żeby były inne konta) o zadawanie tych samych pytań u siebie i już ogarniał poprawnie.

Poza tym nawiązując do reszty wpisu to nikt nie boi się buntu maszyn czy samoświadomości tylko masowego przewrotu na rynku pracy i konwekwencji jakie
Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.


@mirko_anonim: o to to, o tym samym pomyślałem dzisiaj rano po przeczytaniu jakiegoś wysrywu n.t tego jak GPT zastępuje ludzi i jak bardzo są w