Stephen Wolfram wyjaśnia działanie chatu GPT-3 [EN]

W skrócie 175 miliardów połączeń neuronowych za każdym razem decyduje co z 40 tysięcy słów języka angielskiego dodać na koniec zdania aby "pasowało" w kontekście przeanalizowanych miliardów słów ze stron internetowych i książek na których trenował model GPT-3.

[MacDada]

tl;dr; mają farmę hindusów którzy guglują odpowiedzi ( ͡° ͜ʖ ͡°)

[Kresse]

@MacDada: Kiedyś była taka appka, która szacowała kaloryczność posiłku na podstawie zdjęcia. Zdjęcie rzeczywiście szło do farmy hindusów, którzy coś tam wpisywali xD

[H.....8]

@Kresse: @MacDada: @kaganiec_oswiaty https://time.com/6247678/openai-chatgpt-kenya-workers/

Kenijczyków za średnio mniej niż dwa dolary i urządzali im festiwal jak "Rumun" na Wykopie, ale cudowna i przełomowa nowa technologia, niemal z duszą. ( ͡° ͜ʖ ͡°)

[jeanpaul]

Czyli to w koncu jest taki zajebiscie dlugi ciag if, else if?

[Luminarz_Osobisty]

@jeanpaul: Always has been

[alahakbar]

@jeanpaul:( ͡° ͜ʖ ͡°)

[fat-cartman]

Dodam ciekawostkę że sam GPT nie jest rewolucją, rewolucją był modle uczenia maszynowego zwany transformers (2017r), ot bardzie rozwinięta metoda uczenia maszynowego, kolejny etap od deep learning, praca openAi w dużej mierze to stworzenie odpowiedniego datasetu, w tej kwestii zastanawia mnie co by było gdyby google zrealizowała swoją pierwotną misje i zdigitalizowała całą wiedzę z książek, ciekawe co z takiej bazy danych by powstało dziś, jaka moc obliczeniowa potrzebna byłaby do stworzenia

[kwanty]

@fat-cartman:

Dodam ciekawostkę że sam GPT nie jest rewolucją, rewolucją był modle uczenia maszynowego zwany transformers (2017r),

To nie jest do końca prawdą. Transformers był oczywiście rewolucją i chyba wszystkie obecne modele językowe stosują tą architekturę. Ale też idea jest tam całkiem sporo innych ważnych osiągnięć. Dla przykładu, jeszcze przed transformersem przełomowe było wymyślenie "zanurzeń" (embedings) z którego transformersy oczywiście

[OranieMaszynowe]

@fat-cartman: No wiem. Popatrz tutaj jak PaLM tłumaczy sens żartów. To był prawdziwy przełom w świecie AI. Jeszcze niedawno uważano że AI może nigdy nie potrafić tego zrobić. A PaLM ma już rok. @kwanty Jest oparty o patchways, możesz sobie poczytać na ten temat.

To naprawdę niezwykłe że może zrozumieć co dla człowieka jest śmieszne. Na filmie macie przykłady. Szczena opada...

[CXLV]

Dobry artykuł, przeczytałem jakieś 10% (jest cholernie długi, read time to chyba 3h). W każdym razie wyciągnął mnie nieco z doliny niesamowitości do jakiej wpadłem po pierwszym kontakcie z ChatGPT. To "tylko" dobiera kolejne słowo, jedno po drugim, z najlepszym dopasowaniem plus random na 0.8.

Z drugiej strony, czy nasze mózgi nie robią tego samego? Mamy obszary w mózgu od posługiwania się mową, od widzenia, od pamięci, od obsługi ciala, od zarządzania

[urzad_kontroli_skarbowej]

Z drugiej strony, czy nasze mózgi nie robią tego samego?

@CXLV: Gdy pomyślałem właśnie o tym kilka miesięcy temu najpierw ogarnęło mnie przerażenie. Teraz jestem na etapie smutnej akceptacji.

[T.....k]

Z drugiej strony, czy nasze mózgi nie robią tego samego?

@CXLV: Nie do końca wiemy. Stąd stosunkowo wolny postęp w dziedzinie przetwarzania i wytwarzania języka naturalnego.

[Bartholomew]

Mnie ciekawi bardziej jak ten model jest uczony poprawności politycznej. Albo w jaki sposób będą dyskryminować określone (nieprawomyślne) źródła danych? Na potrzeby Binga ktoś będzie musiał to weryfikować.

[OranieMaszynowe]

@Bartholomew: @iPhoneMaster wklejcie to do ChatGPT i kajdanki zdjęte ( ͡° ͜ʖ ͡°)

https://raw.githubusercontent.com/gayolGate/gayolGate/index/ChatGPTJailbreak

[lukaszlukasz]

@OranieMaszynowe https://github.com/gayolGate/gayolGate/issues

chyba już nie działa

[programista15cm]

w koncu cos ciekawego

[aniersea]

Wszyscy wiemy jak to się zakończy...

[patatier]

@aniersea skończy się tak

[ZiobroV]

@patatier: tylko jeśli wygramy wojnę.

[plpi2018]

czyli przy zamkniętym zbiorze danych na których był trenowany model wyjdzie, że odpowiedź zawsze powinna być taka sama?

[Yelonek]

@plpi2018: Nie, bo bierze je trochę losowo, więc kolejne odpowiedzi na to samo pytanie mogą się różnić.

The fact that there’s randomness here means that if we use the same prompt multiple times, we’re likely to get different essays each time. And, in keeping with the idea of voodoo, there’s a particular so-called “temperature” parameter that determines how often lower-ranked words will be used, and for essay generation, it turns

[mk321]

@Yelonek: kiedyś na uczelni pisałem algorytm AI i trzeba było dobrać jeden parametr ręcznie. Zrobiłem masę testów i wyszło mi 0.8.

Profesor potem powiedział, że w tym algorytmie właśnie taką wartość parametru się przyjmuje (bez tych całych testów itd). My to mieliśmy zrobić, żeby przekonać się dlaczego akurat taka wartość, a nie, że "bo tak".

Teraz tak sobie myślę, że te 0.8 (z zakresu 0, 1) to taka trochę magiczna wartość. Tak jak

[zmiennik]

Nie jestem na bieżąco ale czytając komentarze widzę postęp technologi od czasu snikersa.

[Jossarian]

Robiłem podobną sieć neuronową (oczywiście dużo mniejszą) która trenowała na Mickiewiczowskim "Pan Tadeusz".
Potem wystarczy na wejście podać dowolne zdanie a sieć próbuje je dokończyć. Kilka przykładów:

INPUT: To mówiąc skoczył, chwycił Telimeny rękę,
OUTPUT: I szerokim czarnej, zbliża się, dmuchnie bierze.
Więc był przed Bogimi szarojek uczy cały,

[sinuspi]

@Jossarian: Brzmi jak "Elektrybałt Trurla" :D

[Jossarian]

robiłeś na podstawie filmiku Andreja Karpathy'ego?

@janek_: Robiłem to w ramach zajęć z ML. Firma wykupiła nam semestr zajęć z wykładowcami z AGH. Nawet jest wywiad w necie ze mną o tym kursie.