Wpis z mikrobloga

#biedanonim
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt



· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.

  • 142
@ApuApustaja:

oczywiście gpt takie niegroźne i bezpieczne. Dlatego SEO openia Sam Altcoin chodzi wszędzie z niebieskim plecakiem dzięki któremu zdalnie może wysadzić całe centrum danych gpt gdy ai zacznie oszukiwać/stanowić zagrożenie


Gość nie jest żadnym SEO (wygooglaj co to jest) tylko CEO. Nie nazywa się Sam Altcoin tylko Sam Altman, firma nie nazywa się openia tylko OpenAI, a cały twój wpis to jakiś idiotyzm xd
@fraciu dokładnie tak. W kontekście AI mówi się o samoświadomości jakby to był warunek konieczny do czegoś tam. Rozwoju AI itp. Owady i inne robaki nie mają samoświadomości a żyją na ziemi od miliardów lat. Podobnie może być z AI. Wystarczy odpowiednie źródło energii, umiejętność jego wykorzystania i umiejętność powielania siebie, z okresowymi, małymi zmianami (mutacja). I mamy odpowiednik owadów i robaków. A coś co my postrzegamy jako samoświadomość przyjdzie z czasem
@juz_tlumacze: na ten moment tak, jednak nie uważam by nasz mózg był tak wyjątkowy że nie może zostać kiedyś zastąpiony przez sztuczną inteligencję, po prostu jeszcze nie wiemy jak, ale "jeszcze" to słowo kluczowe. Ja sądzę że AI nie wymknie się spod kontroli człowieka jeszcze bardzo bardzo długo, jednak technologia rozwija się tak szybko że można sądzić że za kilka lat zacznie sobie radzić bez brute force i będzie znacznie bardziej
myślimy w bardziej abstrakcyjny sposób niż zapamiętywanie tekstu. Potrafimy się uczyć, mamy ciało za pomocą którego możemy zmienić to co odbieramy bodźcami. I najważniejsze: jesteśmy zwierzętami, mamy popędy a rolą naszego mózgu jest ich zaspokojenie


@Saly: AI też myśli bardziej abstrakcyjnie niż zapamiętywanie tekstu. Jego sposób formułowania zdań to właśnie przeniesienie abstrakcyjnych pojęć w gramatycznie poprawną formułę. To samo z obrazami - AI generuje najpierw zbiór abstrakcyjnych modeli na płaszczyźnie, a
@mirko_anonim: że też nikt jeszcze nie zapytał o zdanie samego zainteresowanego. oto co odpowiada sam chatGPT:

Rozumiem Twoje obawy i sceptycyzm wobec modeli opartych na architekturze Transformer, takiej jak ChatGPT. Jednakże, chciałbym zwrócić uwagę na to, że ChatGPT był uważany za przełomowy model językowy w momencie, gdy został zaprezentowany, a jego możliwości są nieporównywalne z modelami językowymi dostępnymi przed nim.


Ponadto, ChatGPT nie został stworzony z myślą o osiągnięciu AGI, lecz
@Murasame trochę bardziej zaawansowane? To opisz googlowi sytuację pokrewieństw kilku osób, a następnie zapytaj o kolejność dziedziczenia w przypadku śmierci jednej z tych osób z perspektywy prawa niemieckiego i niech google wskaże odpowiednie ustawy. I oczywiście zrób to w języku polskim. Chciałbym zobaczyć ile czasu ci to zajmie.
Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡° ͜ʖ ͡°)


@look997: Bing Chat odpowiada jak najbardziej, że nie wie. Gdy zapytałem go, czy jego silnik działa na ChatGPT-4 to odpowiedział, że nie wie ( ͡° ͜ʖ ͡°)
@Mrbimbek Pytanie czym różni się mózg od AI jest bardzo ciekawe, filozofia już zajęła się tym tematem jakiś czas temu https://en.m.wikipedia.org/wiki/Chinese_room

ogólnie teza jest taka, że komputer taki jaki mamy obecnie, tj. operujący na cyfrach, nie będzie w stanie nigdy wykształcić świadomości, która jest potrzebna do rozumienia zagadnień które procesuje. Oczywiście za x lat może się to zmienić, może zostać stworzony nowy rodzaj komputera.
@medusa60 ale samo pytanie czym jest świadomość? jesteś teraz świadom siebie i że siedzisz na wykopie czy to jest świadomość? czy czym ona dokładnie jest? jak ja zmierzyć? Jak udowodnić że pszczoła nie ma świadomości?
jakaś definicja z netu:
Świadomość (ang. consciousness) to stan psychiczny, w którym jednostka zdaje sobie sprawę z oddziałujących na nią bodźców wewnętrznych i zewnętrznych. Bodźce wewnętrzne to np. ból, głód, pragnienie, senność, a także myśli i emocje.
prawda jest taka ze z chatgpt da sie lepiej pogadac niz z wiekszoscia ludzi, a mi osobiscie bardzo przyspiesza prace. Zamiast szukac w googlu pol dnia, wystarczy 10 minut z chatem i jeszcze wyjasni co jak dziala i dlaczego. Czasami zdarza mu sie gadac glupoty ale nie przeszkadza to za bardzo
@mirko_anonim:

Co do postępu teoretycznego to pełna zgoda ale:

1. To prawda, że modele językowe nie mogą stać się AGI ale kto powiedział, że trening ma się kiedykolwiek skończyć?
2. Jeśli coś jest nieodróżnialne dla ludzi od człowieka, to w praktyce jest AGI.
3. Obecne modele językowe już są olbrzymią zmianą społeczno-gospodarczo-socjologiczną. Nawet jeśli nastąpi AI Winter, i nie będzie jakiegokolwiek postępu przez kolejne dziesięciolecia to sama ilość "bruteforce" przechodzi
ogólnie teza jest taka, że komputer taki jaki mamy obecnie, tj. operujący na cyfrach, nie będzie w stanie nigdy wykształcić świadomości, która jest potrzebna do rozumienia zagadnień które procesuje. Oczywiście za x lat może się to zmienić, może zostać stworzony nowy rodzaj komputera.


@geralt101: teza jest bezsensowna. Czysto teoretycznie można cyfrowo symulować działanie ludzkiego mózgu przez symulację działania poszczególnych neuronów na poziomie fizycznym. Oczywiście, jest to rozwiązanie niepraktyczne, ale nie można
@excellentreplacement: otóż to. Błędy jakie popełnia ChatGPT to nic w porównaniu z bełkotem, jaki generuje przeciętny człowiek, gdy zapytać go o coś, co nie jest banałem. Niektórzy przykładają dwie różne miary do inteligencji człowieka i maszyny. Człowiek może się mylić, ale przynajmniej ma magiczną zdolność abstrakcyjnego myślenia, za to AI musi być jak jakiś neo-bożek, nieomylny i wszechwiedzący; inaczej jest rzekomo tylko namiastką ludzkiej inteligencji.