[mirko_anonim]

#biedanonim
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt

─────────────────────

· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.

[W.....r]

@mirko_anonim: OP gówno się zna na temacie, skok jest niesamowity i to potwierdzaja wszyscy ci co sie na temacie znają czyt. nie polscy programiści co są jedynie podwykonawcami a startupy w polsce nie istnieją.

Po raz enty #!$%@? edukacja i ego naszych rządzących ale też natężenie januszexów spowodowało że jesteśmy w tyle, i to nawet widać po tych wpisach. Szansa była, sporo osób dosyć mocno na ten temat mówiło ale

[Bananek2]

nie są stanie osiągnąć poziomu AGI i zyskać świadomości

@mirko_anonim: a jakie testy świadomości proponujesz? Bo te obecne, które naukowcy wymyślili potrafi zdawać

[bn1776]

@look997

>Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.

@mirko_anonim: Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡

[Hershel]

@mirko_anonim taki wysryw, że aż wstyd było się pod tym podpisać nickiem z wykopu xD

[Saly]

czym różni się nasz mózg od AI?

@Mrbimbek: myślimy w bardziej abstrakcyjny sposób niż zapamiętywanie tekstu. Potrafimy się uczyć, mamy ciało za pomocą którego możemy zmienić to co odbieramy bodźcami. I najważniejsze: jesteśmy zwierzętami, mamy popędy a rolą naszego mózgu jest ich zaspokojenie

[yousouyou]

AGI czy nie AGI potrafi w 30 sekund zrobić to co mi zajęło by 30 minut więc czekam na kolejne wersje i odmiany.

[janushek]

Transformerach

nie mów nic więcej bratku

[A.....a]

@mirko_anonim: oczywiście gpt takie niegroźne i bezpieczne. Dlatego SEO openia Sam Altcoin chodzi wszędzie z niebieskim plecakiem dzięki któremu zdalnie może wysadzić całe centrum danych gpt gdy ai zacznie oszukiwać/stanowić zagrożenie

[Bananek2]

@Wilkudemoner: OP wykopek się na tym ZNA i wie lepiej od naukowców, którzy opublikowali 150 stronicowy raport uzasadniający, że jednak OP nie ma racji xD

Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

Może zapoznasz się z opiniami ekspertów przynajmniej z poniższego filmiku, który streszcza podlinkowany raport?

https://www.researchgate.net/publication/369449949_Sparks_of_Artificial_General_Intelligence_Early_experiments_with_GPT-4/fulltext/641bc23066f8522c38c784e8/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4.pdf?origin=publication_detail

[Bananek2]

mamy popędy a rolą naszego mózgu jest ich zaspokojenie

@Saly: dodanie wewnętrznej motywacji jest jednym z kierunków rozwoju AI, obejrzyj sobie podlinkowany wyżej filmik gdzie jest to wspominane

kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany

@mirko_anonim: jak obejrzysz powyższy materiał dowiesz się, że kolejnymi kierunkami jest rozdzielnie na myślenie szybkie i wolne podobnie jak u ludzi

[robert5502]

@mirko_anonim: aha ( ͡° ʖ̯ ͡°)

[tos-1_buratino]

Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne.

Ile powstaje nowych algorytmów rocznie wartych nauczenia? Niech zna te powstałe powiedzmy do 2021 i to jest good enough do 99% zastosowań, a ten brakujący 1% będzie dorabiany w placówce R&D na zachodzie a nie w firmie outsourcingowej. Open AI zatrudniło 1000 kontraktorów z całego świata do opisywania kawałków kodu językiem naturalnym tak aby później model mógł lepiej generować kod na podstawie języka naturalnego. Będzie mógł lepiej dopasowywać te ogólne algorytmy do konkretnych zadań opisanych językiem naturalnym.

Ponadto jako model językowy kompletnie nie rozumie o czym pisze.

Jako sam model nie rozumie. Ale można go spiąć logicznie w większą całość tak jak system moderacji w GPT-4 gdzie model moderuje sam siebie. Model może być wejściem lub wyjściem danych klasycznej logiki, w tym momencie tysiące ludzi pracuje nad integracjami różnych systemów z GPT. Wtedy część aplikacji oparta na klasycznym oprogramowaniu będzie robić swoje a model swoje.

[Flypho]

Może nie został po prostu nauczony jak sobie radzić z wzorami, bo my też korzystamy z tego czego się nauczyliśmy, mózg nie ma żadnych magicznych mocy.

@Mrbimbek:
A jednak ktoś te wzory odkrył i zapisał i ktoś ciągle odkrywa i zapisuje nowe. I nie jest to chat GPT choć został wytrenowany na całej wiedzy dostępnej w internecie.

[Arrival]

sieć się nie uczy

@mirko_anonim: Próbowałeś? Nie wiem czy mówimy o tym samym, ale testowałem przyłapywanie go na błędzie, wyprowadzałem go z tego błędu a za kilka dni prosiłem znajomych (dla pewności, żeby były inne konta) o zadawanie tych samych pytań u siebie i już ogarniał poprawnie.

Poza tym nawiązując do reszty wpisu to nikt nie boi się buntu maszyn czy samoświadomości tylko masowego przewrotu na rynku pracy i konwekwencji

[woj_st]

Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.

@mirko_anonim: o to to, o tym samym pomyślałem dzisiaj rano po przeczytaniu jakiegoś wysrywu n.t tego jak GPT zastępuje ludzi i jak bardzo są

[PeterGosling]

@Sarza01: ale mi chodzi dzbanie tylko i wyłącznie o jedno zdanie

GPT4 to nie żaden przełom

Otóż GPT to JEST przełom

[a.....s]

Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości.

@mirko_anonim: No to, ze tak powiem, zdania ekspertów są podzielone.
Poczytaj sobie to: https://arxiv.org/pdf/2303.12712.pdf

Ogólnie okreslenie tego, co jest inteligencją, to też nie jest taka

[FoolyKewly]

@mirko_anonim: Każdy kto jest chociaż trochę ogarnięty wie, że ChatGPT to po prostu czasami lepsze Google (mówię czasami, bo też może po prostu kłamać i dawać złe odpowiedzi - Stack Overflow dalej jest ogólnie lepszy bo masz odpowiedzi z głosami użytkowników).

[ImperiumCienia]

@obieq: gpt-4 bedzie miał pluginy niedługo które udostepnią mu możliwość sięgania w internet. wpisz sobie w youtue gpt-4 plugins.