Aktywne Wpisy
![grim_fandango](https://wykop.pl/cdn/c3397992/grim_fandango_XSuKuXjHlr,q60.jpg)
grim_fandango +45
![zyd_z_pasji](https://wykop.pl/cdn/c0834752/0a2c2f8d8c2e4ab2c50bf8569341cd3affa2c3f19c484ff0e6fd6f4069faa0a3,q60.jpg)
zyd_z_pasji +727
otwieram nitkę z czeskimi memami, aby nie trzeba było szukać pojedynczych memów #heheszki #czeskiememy
![zydzpasji - otwieram nitkę z czeskimi memami, aby nie trzeba było szukać pojedynczych...](https://wykop.pl/cdn/c3201142/5c0bb8ef06720bb9a1eee1925573572aa422d6b76c010ade414c39d716f001a1,w150.jpg)
źródło: iG1KyxIbrzUkhHXe
PobierzSkopiuj link
Skopiuj linkźródło: iG1KyxIbrzUkhHXe
PobierzWykop.pl
Jako kogoś zajmującego się AI na co dzień strasznie wkuriwa mnie ten cały sztuczny hype i rzesze pseudoeksperów, którzy obejrzeli 10 minutowy filmik o ChatGPT od "entuzjasty technologii" i już wszystko rozumieją.
Modele bazujące na tej architekturze co GPT4, czyli na Transformerach nie są stanie osiągnąć poziomu AGI i zyskać świadomości. W zasadzie to co odróżnia GPT4 od modelu który można sobie wytrenować w domu to rozmiar sieci oraz przede wszystkim liość danych na których został wytrenowany. GPT nie jest w stanie uczyć się nowych rzeczy po zakończeniu trenowania. Wiem, że jak podacie mu coś na wejście jako kontekst to będzie to pamiętał, jednak kontekst ten ma ograniczoną wielkość i po zakończeniu sesji generacyjnej jest resetowany. Nie zmienia on wag sieci (czyli takiego w pewnym sensie mózgu), a co za tym idzie sieć się nie uczy. Przykładem jest choćby to, że świetnie radzi sobie z zadaniami algorytmicznymi które zostały zamieszczone przez zakończeniem treningu. Jednak nowe zadania, które wymagają analogicznych umiejętności są dla niego nierozwiązywalne. Powód jest prosty: w danych treningowych znalazły się gotowe rozwiązania. Ten sam efekt uzyskacie wpisując treść polecenia w google.
Ponadto jako model językowy kompletnie nie rozumie o czym pisze. Podczas generacji w każdej iteracji bazując na aktualnym kontekście zwraca prawdopodobieństwa wystąpienia następnych tokenów (subwordów), a potem losuje (pewnie jest tam jakiś bardziej zaawansywany algorytm przeszukiwania, ale i tak te z najwiąkszym prawdopodobieństwem będą najczęściej wybierane). Następnie wybrany token zostaje dodany do kontekstu. Zauważyliście pewnie, że ChatGPT nigdy nie powie, że czegoś nie wie, tylko będzie zmyślał jak podczas matury z polskiego.
GPT4 to nie żaden przełom tylko po prostu brute force pod względem wielkości danych treningowych wsparty miliardami dolarów. Skoro już wytrenowali go na większości internetu, to co dalej? Moim zdaniem, by uzyskać AGI potrzebne będzie zupełnie nowe podejście do uczenia sieci. Przypominam, że parę lat temu był hype na samojeżdżące samochody i Tesle miały być autonomiczne już dawno temu. Tymczasem autopilot osiągnął swój peak i hype wygasł. Zaraz pewnie jakiś ekspert od AI, który jeszcze niedawno był specjalistą blockchaina się ze mną nie zgodzi no ale cóż.
#programista15k #programowanie #it #ai #sztucznainteligencja #chatgpt
─────────────────────
· Akcje: Odpowiedz anonimowo · Wyślij anonimową PW do autora (niebawem) · Więcej szczegółów
· Zaakceptował: Jailer
· Autor wpisu pozostał anonimowy dzięki Mirko Anonim
· Tag #biedanonim to wpisy z niską potrzebą anonimowości.
Po raz enty #!$%@? edukacja i ego naszych rządzących ale też natężenie januszexów spowodowało że jesteśmy w tyle, i to nawet widać po tych wpisach. Szansa była, sporo osób dosyć mocno na ten temat mówiło ale
@mirko_anonim: a jakie testy świadomości proponujesz? Bo te obecne, które naukowcy wymyślili potrafi zdawać
@Mrbimbek: myślimy w bardziej abstrakcyjny sposób niż zapamiętywanie tekstu. Potrafimy się uczyć, mamy ciało za pomocą którego możemy zmienić to co odbieramy bodźcami. I najważniejsze: jesteśmy zwierzętami, mamy popędy a rolą naszego mózgu jest ich zaspokojenie
nie mów nic więcej bratku
źródło: serious-look-optimus-prime
Pobierzźródło: FosxZgmaEAEMmVX
PobierzMoże zapoznasz się z opiniami ekspertów przynajmniej z poniższego filmiku, który streszcza podlinkowany raport?
https://www.researchgate.net/publication/369449949_Sparks_of_Artificial_General_Intelligence_Early_experiments_with_GPT-4/fulltext/641bc23066f8522c38c784e8/Sparks-of-Artificial-General-Intelligence-Early-experiments-with-GPT-4.pdf?origin=publication_detail
@Saly: dodanie wewnętrznej motywacji jest jednym z kierunków rozwoju AI, obejrzyj sobie podlinkowany wyżej filmik gdzie jest to wspominane
@mirko_anonim: jak obejrzysz powyższy materiał dowiesz się, że kolejnymi kierunkami jest rozdzielnie na myślenie szybkie i wolne podobnie jak u ludzi
Ile powstaje nowych algorytmów rocznie wartych nauczenia? Niech zna te powstałe powiedzmy do 2021 i to jest good enough do 99% zastosowań, a ten brakujący 1% będzie dorabiany w placówce R&D na zachodzie a nie w firmie outsourcingowej. Open AI zatrudniło 1000 kontraktorów z całego świata do opisywania kawałków kodu językiem naturalnym tak aby później model mógł lepiej generować kod na podstawie języka naturalnego. Będzie mógł lepiej dopasowywać te ogólne algorytmy do konkretnych zadań opisanych językiem naturalnym.
Jako sam model nie rozumie. Ale można go spiąć logicznie w większą całość tak jak system moderacji w GPT-4 gdzie model moderuje sam siebie. Model może być wejściem lub wyjściem danych klasycznej logiki, w tym momencie tysiące ludzi pracuje nad integracjami różnych systemów z GPT. Wtedy część aplikacji oparta na klasycznym oprogramowaniu będzie robić swoje a model swoje.
@Mrbimbek:
A jednak ktoś te wzory odkrył i zapisał i ktoś ciągle odkrywa i zapisuje nowe. I nie jest to chat GPT choć został wytrenowany na całej wiedzy dostępnej w internecie.
@mirko_anonim: Próbowałeś? Nie wiem czy mówimy o tym samym, ale testowałem przyłapywanie go na błędzie, wyprowadzałem go z tego błędu a za kilka dni prosiłem znajomych (dla pewności, żeby były inne konta) o zadawanie tych samych pytań u siebie i już ogarniał poprawnie.
Poza tym nawiązując do reszty wpisu to nikt nie boi się buntu maszyn czy samoświadomości tylko masowego przewrotu na rynku pracy i konwekwencji
@mirko_anonim: o to to, o tym samym pomyślałem dzisiaj rano po przeczytaniu jakiegoś wysrywu n.t tego jak GPT zastępuje ludzi i jak bardzo są
Komentarz usunięty przez moderatora
Otóż GPT to JEST przełom
@mirko_anonim: No to, ze tak powiem, zdania ekspertów są podzielone.
Poczytaj sobie to: https://arxiv.org/pdf/2303.12712.pdf
Ogólnie okreslenie tego, co jest inteligencją, to też nie jest taka