Wpis z mikrobloga

@mk321: Chat GPT jest oparte na GPT-3.5. W porownaniu do GPT-3, jest wytrenowane miedzy innymi dodatkowo na kodzie, uzywa RLHF i jest trenowane na dluzszych sekwencjach tekstu. A pare dni temu OpenAI wypusicilo GPT-4, ktore ma dodatkowe masywne ulepszenia w porownaniu do GPT-3.5.
@pure_function: co za różnica czy GPT3 czy GPT3.5? Pisałem o tym, że ogólnie jest oparte o GPT, które jest rozwijanie już od kilku lat. To że akurat użyte 3.5 a nie 3, to kompletnie nie ma znaczenia. To że zaraz będzie powszechnie dostępne GPT4 też nic nie zmienia. Obecnie te wszystkie artykuły i podniety powstały zanim GPT4 było dostępne dla kogokolwiek.

A ty tak to napisałeś jakby ChatGPT nie było w
@mk321: ja nie zrobilem zadnej predykcji. po prostu takie gadanie, ze bedzie NA PEWNO AI winter mnie odrzuca.

Już nie będę cię męczył tym, że ten wykres to nie są dwa punkty.

nie ma znaczenia, byly dwa cykle, ekstrapolowanie ze na pewno ten 3 bedzie mial charakterystyke jest malo wiarygodne

A ty tak to napisałeś jakby ChatGPT nie było w ogóle oparte o GPT, a o coś całkiem innego.

no ale
to niekoniecznie jest prawda. byc moze twoj mozg, fundamentalnie, to tez "tylko language model", ale jego zlozonosc sprawia, ze ma bardzo duze zdolnosci

Odpowiedz


@pure_function: Mam wrażenie, że mój mózg przetwarza jednak dużo więcej niż tekstowe prompty xD Zbijając twój argument - krowa żadnego języka nie zna a jednak myśli, czyli mózg zwierzęcia nie może być modelem językowym.
@GienekZFabrykiOkienek: to nie chodzi o modalnosc (tekst, obrazek czy cokolwiek) ale o fundamentalny sposob dzialania (oparty na predykcji nastepnego data pointu). a dodanie wiecej modalnosci to kwestia techniczna (zreszta GPT-4 juz operuje na obrazkach). tekst jest uzywany glownie tych modelach bo jest latwo dosteptny. ale mozna sobie np. zaczac zbierac dane audio/video z sensorow i uczyc sie przewidywac nastepna klatke etc
@GienekZFabrykiOkienek: przez 'language modeling' bardziej rodzaj tasku i moze byc zaaplikowany do kazdego typu danych. ale ok, mozna tez powiedziec: generative auto-regressive models.

Wszystko możesz, pytanie czy jesteś w stanie stworzyć sieć neuronową o podobnym stopniu skomplikowania co ludzki mózg.

byc moze, choc problem jest tez struktura. byc moze chodzi tez o strukture, nie tylko o sama zlozonosc (jakkolwiek to liczyc)