Wpis z mikrobloga

@mtosny modele klasy GPT są silnie niezoptymalizowane, modele 10 razy mniejsze potrafią im dorównywać. To kwestia miesięcy zanim ktoś wytrenuje je w taki sposób aby zwiększyć ich zdolności 2 krotnie a później 10 krotnie bez zwiększania kosztów treningowych. A GPT4 już jest na krawędzi AGI.
@Bejro: Jeżeli dobrze zrozumiałem Twoją wypowiedź, dla Ciebie 2030 jest mocno przeszacowany i spodziewasz się AGI wcześniej, w perspektywie miesięcy / paru lat? Oczywiście zakładam, że nie będzie ona od razu dostępna / ogłoszona publicznie, o tym dowiemy się z jakimś opóźnieniem.
@mtosny 15-20lat zanim powstanie AGI gdzieś na świecie w laboratorium i ok 25-30 lat zanim zwyklak z ulicy będzie mógł z tego korzystać i będzie go na to stać

Podobno GPT4 ma rozmiar sieci zbliżony do 1/100 mozgu więc w ciągu 20 lat bedzie można zrobić sieć o podobnym rozmiarze.
@mtosny Nie mam wątpliwości, że Szymon Sidor, wie o czy mówi i że ma dostęp do informacji, do których my nie mamy. Pamiętać należy, że jego wypowiedzi prezentują stanowisko OpenAI, która prowadzi wyraźny lobbing polityczny w celach biznesowych. Szef pana Szymona, Sam Altman, spotyka sie z politykami na wszystkich kontynentach, np. premierem RP, prezentując konieczność państwowych regulacji. Google, Facebook, oraz inni kluczowi gracze, już nie są tak optymistyczni. Mark Zuckerberg w tym
@mtosny: nie wiem co rozumiesz przez silna inteligencję, ale chatgpt to tylko algorytm(jeden z wielu LLM) który nie ma i nie będzie miał żadnej świadomości.
To zamienianie słów na tokeny i wyszukiwanie zależności na podstawie synonimów tych tokenów i odpowiedzi powiązanych które znajdują się w wyuczonej bazie+ utrzymywanie kontekstu rozmowy. W kwestii optymalizacji jest wiele do zrobienia.
A co mają mówić goście od AI? Muszą podgrzewać atmosferę żeby było o nich
@Hatespinner @obieq to prawda że ChatGPT uzupełnia tekst i udaje że coś rozumie, ale właśnie do tego został zrobiony i jeśli napiszesz mu żeby narysował krowę z rogami używając języka programowania na teksturze to on rozumie żeby dodać 4 prostokąty jako nogi, jak mu powiesz żeby powiększył jej głowę to okrąg który ją symbolizuje zmieni promień na większy. Trudno nie przejść oprócz czegoś takiego obojętnie.

Kwestia jeszcze wymyślania odpowiedniej architektury. wydaje mi
chatgpt to tylko algorytm(jeden z wielu LLM) który nie ma i nie będzie miał żadnej świadomości


@obieq: skoro nie wiemy czym jest świadomość, to dlaczego wykluczasz możliwość jej przez algorytmy LLM?

To zamienianie słów na tokeny i wyszukiwanie zależności na podstawie synonimów tych tokenów i odpowiedzi powiązanych które znajdują się w wyuczonej bazie+ utrzymywanie kontekstu rozmowy. W kwestii optymalizacji jest wiele do zrobienia.


A co jeżeli mózg ludzki działa tylko na
15-20lat zanim powstanie AGI gdzieś na świecie w laboratorium


@zibizz1: nie wiem kiedy powstanie, ale jeżeli uda się utrzymać tempo prac, to ten 2030 też wydaje mi się realny. U Stanowskiego był kiedyś Andrzej Dragan. Pokazywał on publikację od #openai gdzie chat rysował jednorożca chyba w SVG. Ta publikacja była z okolic września 2022. I były w niej lepsze obrazki jednorożca, niż to co publicznie dostępny chat rysował w marcu 2023.
@mtosny oczywiście że będzie publicznie dostępne za $
Zamiast płacić asystentce 10k miesięcznie to zapłacisz 5k abonament i masz 24h na dobę takiego asystenta co zabookuje wakacje w ciekawym miejscu, sprawdzi opinie, upewni się że nasz miejsce w kalendarzu albo przełoży spotkania itp.
@mtosny: @Bejro @Hatespinner @pa6lo istnieje ciekawa teoria, według której nigdy nie uda nam się osiągnąć tzw. sztucznej inteligencji ogólnej (AGI) jako jednolitego systemu. Zamiast tego, moglibyśmy stworzyć rozbudowaną siatkę silnej AI, złożoną z wielu osobnych, słabszych systemów AI. Jednego dnia po prostu obudzimy się z realizacją, że "mamy już AGI od jakiegoś czasu".

Dzieje się tak, ponieważ szybko przyzwyczajamy się do nowych technologii i usprawnień, jednocześnie bagatelizując zdolności AI. W głównym
@zibizz1: jest już agentgpt opensource od takiego asystowania. Możesz sobie chyba postawić selfhosted albo skorzystać online jak podasz klucz lub uda Co się na darmowym.

@mtosny nie chce mi się cytować
Mózg też działa pewnie w sposób algorytmiczny ale od tych "AI" się różni go to że możesz podejmować spontanicznie pewne działania i decyzje.
W AI żaden problem ustawić background workera który co x-xx czasu coś zrobi i teoretycznie efekt będzie
Mózg też działa pewnie w sposób algorytmiczny ale od tych "AI" się różni go to że możesz podejmować spontanicznie pewne działania i decyzje.


@obieq: nie spontanicznie tylko na podstawie albo wyuczonych albo zaprogramowanych przez ewolucję zachowań. Musisz mieć przyczynę aby uzyskać efekt. To nie jest tak że podejmujesz decyzje bez powodu, tylko nie zawsze świadomie znasz powód. A podejmowane decyzje masz ograniczone poprzez właśnie stan twojej sieci neuronowej - to co
Zamiast płacić asystentce 10k miesięcznie to zapłacisz 5k abonament


@zibizz1: W pełni się zgadzam, że takie rzeczy będą dostępne, w końcu trzeba jakoś zmonetyzować projekt. Pytanie czy pani asystentka dostępna dla ogółu to będzie Nokia 3310 czy Samsung S23? Ja uważam, że stara Nokia, bo ten Samsung pewnie będzie tak dobry, że będzie wymyślał nowe materiały, ulepszał procesy w korporacjach, tworzył mega dochodowe kampanie reklamowe, doradzał rządom / grupom władzy, etc.
@zibizz1:

Trudno nie przejść oprócz czegoś takiego obojętnie.


Ale ja ani nie przechodzę obojętnie, ani nie umniejszam komercyjnych sukcesów jakie odniósł GPT. Po prostu mówię, ze to nie jest żadna AI w tradycyjnym jej rozumieniu. A potem mam bekę jak ludzie spinają dupę i bronią tego modelu jakby sami go napisali. XD GPT nigdy nie będzie „rozumiał” tego co produkuje, ani posiadał „świadomości” jako takiej, co jest oczywiste dla każdego kto
@Hatespinner Wydaje mi się że nie masz racji. Co to jest świadomość? Co to znaczy rozumieć bo wydaje mi się że ChatGPT rozumie dlatego jest w stanie wygenerować bajkę dla 4 latka. Rozumie że traktor ma koła a nie nogi, że ma klakson i nie może mówić. Zobacz sobie definicje słowa rozumieć i zauważ że ten model "rozumie"

Zgadzam się że podanie na wejście np tysiąca tokenów żeby otrzymać 1001 to nie
@zibizz1:

bo wydaje mi się że ChatGPT rozumie dlatego jest w stanie wygenerować bajkę dla 4 latka.


Zgadza się, wydaje ci się, bo nie rozumiesz jak działa algorytm który to generuje. W momencie generowania, ChatGPT nie rozumie ani co to jest bajka, ani żadnego ze zdań które składa.

Co więcej, ktoś sprytnie #!$%@?ł ChatGPT czy inny podobny model w Go, co nie powinno być możliwe dla człowieka, po tym jak ogarnął,
@Hatespinner Rozumiem przynajmniej w takim samym stopniu jak Ty. Już samo osadzenie słowa w przestrzeni kilkuset wymiarowej można utożsamiać z rozumieniem, co znaczy dane słowo i jest to nieodłączny element tego aby można było dopisywać kolejne tokeny w taki sposób aby wyglądało że wszystko ma sens. To że to prymitywny sposób rozumienia nie znaczy że zrozumienia nie ma. Jak powiesz 4latkowi: podaj mi czerwony klocek po polsku i ci poda czerwony klocek
@zibizz1: Bawisz w definicję słownikową rozumienia, a ja ci wytłumaczyłem ze dla ChatGPT nie ma różnicy pomiędzy „kot” a „#!$%@?”, poza tym ze w danym kontekście część z tych liter ma większe prawdopodobieństwo wystąpienia niż inne. Jezeli to się zgadza z twoją definicją inteligencji i rozumienia to spoko, ale generalnie mam wywalone, bo pisałem o czymś innym. XD No i FYI GPT z niczego sobie nie „zdaje sprawy” i z obecnym