Aktywne Wpisy
GeDox +1110
Od dziś, co dzień będę wrzucał tego posta. Dopóki nie zostanie przewieziony do polskiego aresztu.
Sebastian Majtczak urodzony 31.05.1991 w Bonn, zamieszkały w Łodzi, prowadzący spółkę Rigello Sp. z o.o. jest poszukiwany czerwoną notą Interpolu.
#majtczak #sebastianmajtczak #codziennymajtczak
Sebastian Majtczak urodzony 31.05.1991 w Bonn, zamieszkały w Łodzi, prowadzący spółkę Rigello Sp. z o.o. jest poszukiwany czerwoną notą Interpolu.
#majtczak #sebastianmajtczak #codziennymajtczak
![GeDox - Od dziś, co dzień będę wrzucał tego posta. Dopóki nie zostanie przewieziony d...](https://wykop.pl/cdn/c3201142/004fcd0b86a1771101f2c4de16a1d827dabc40a6f15bf2520c0e7a20e273be10,w150.jpg?author=GeDox&auth=f174549a29e04f075498785a27cbf286)
źródło: c740f4afdc0172b78b30769afcfbcbf06085eae2f74b8be325c8bca7358fdc4c
Pobierz![Docent_Jan_Mula](https://wykop.pl/cdn/c3397992/Docent_Jan_Mula_pzO47jWMMr,q60.jpg)
Docent_Jan_Mula +132
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.
Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.
Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.
GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.
#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt
─────────────────────
· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.
Mam tak samo jak Ty. Siedzę w US jako pryncypał AI za $700k i jak czytam prasę biznesowa to mi się nóż w kieszeni otwiera. Ale cóż to tak jak z pato-strimami - gawiedź kupi wszystko. Jak siedzisz w temacie to możesz się śmiać bo zarabiasz 3-10x tyle co frajerzy programiści ( ͡° ͜ʖ ͡°)
──────────
Niezła próba panie chatGPT. Taki niegroźny jesteś, już się nie boimy
Ani żeby wiedzieć że takie podejście to praktycznie ślepa uliczka dopóki nie znajdą sposobu na wydajne uczenie na praktycznie nieskończonej liczbie danych, a nie znajdą bo po prostu zwiększać zbioru treningowego nie da się w nieskończoność.
To samo z generacją obrazów, zaawansowana odszumiarka.
Teraz żeby zrobić coś lepszego trzeba się cofnąć i stworzyć sensowną metodę w obu przypadkach.
Organizacja wiedzy w ludzkim mózgu może i różni się bardzo w bezpośredniej implementacji. Co do jednak wielu właściwości jest bardzo podobna do LLM. Kolejne wyrazy w twojej głowie pojawiają się tak samo wyliczane na podstawie poprzednich. Są obecne w twoim "dialogu wewnętrznym" tylko przez części sekundy i potem znikają, chyba że skoncentrujesz się i podejmiesz decyzję o odłożeniu ich do pamięci roboczej - wyobraźni.
A te rzeczy jak pamięć robocza, podejmowanie decyzji już można łatwo zaimplementować w oparciu o LLM i podejmowane są z sukcesami próby implementacji takich AI. Na razie to wychodzi koślawo i powstają jakieś frankenshtainy, ale to nie wygląda na wielki
@mirko_anonim:
Czy dodanie nauki to taki problem?
Poza tym - w momencie jak ma 130mld zmiennych, to jaka wagę nadać "nauce" w czasie pojedynczych rozmów
A zeby przeszukac internet to ktos musi mu to zlecic i dalej placic za prad i karty graficzne ktore to beda przetwarzac, a to sa niemale kwoty....
Taka to AGI, ze
@mirko_anonim: Mi czasem mówi że nie wiem. Ale może to Bing Czat? Nie wiem. ( ͡° ͜ʖ ͡°)
@fraciu: Pętla z priorytetem czasu rzeczywistego, która służy do tego aby określać cele działania na podstawie kolejki priorytetowej zdarzeń w twoim organizmie.