Stephen Wolfram wyjaśnia działanie chatu GPT-3 [EN]
W skrócie 175 miliardów połączeń neuronowych za każdym razem decyduje co z 40 tysięcy słów języka angielskiego dodać na koniec zdania aby "pasowało" w kontekście przeanalizowanych miliardów słów ze stron internetowych i książek na których trenował model GPT-3.
tos-1_buratino z- #
- #
- #
- #
- #
- 128
Komentarze (128)
najlepsze
Kenijczyków za średnio mniej niż dwa dolary i urządzali im festiwal jak "Rumun" na Wykopie, ale cudowna i przełomowa nowa technologia, niemal z duszą. ( ͡° ͜ʖ ͡°)
To nie jest do końca prawdą. Transformers był oczywiście rewolucją i chyba wszystkie obecne modele językowe stosują tą architekturę. Ale też idea jest tam całkiem sporo innych ważnych osiągnięć. Dla przykładu, jeszcze przed transformersem przełomowe było wymyślenie "zanurzeń" (embedings) z którego transformersy oczywiście korzystają.
ChatGPT to też nie jest GPT-X bo raz że dużo
To naprawdę niezwykłe że może zrozumieć co dla człowieka jest śmieszne. Na filmie macie przykłady. Szczena opada...
Z drugiej strony, czy nasze mózgi nie robią tego samego? Mamy obszary w mózgu od posługiwania się mową, od widzenia, od pamięci, od obsługi ciala, od zarządzania
@CXLV: Gdy pomyślałem właśnie o tym kilka miesięcy temu najpierw ogarnęło mnie przerażenie. Teraz jestem na etapie smutnej akceptacji.
@CXLV: Nie do końca wiemy. Stąd stosunkowo wolny postęp w dziedzinie przetwarzania i wytwarzania języka naturalnego.
https://raw.githubusercontent.com/gayolGate/gayolGate/index/ChatGPTJailbreak
chyba już nie działa
Profesor potem powiedział, że w tym algorytmie właśnie taką wartość parametru się przyjmuje (bez tych całych testów itd). My to mieliśmy zrobić, żeby przekonać się dlaczego akurat taka wartość, a nie, że "bo tak".
Teraz tak sobie myślę, że te 0.8 (z zakresu 0, 1) to taka trochę magiczna wartość.
Potem wystarczy na wejście podać dowolne zdanie a sieć próbuje je dokończyć. Kilka przykładów:
INPUT: To mówiąc skoczył, chwycił Telimeny rękę,
OUTPUT: I szerokim czarnej, zbliża się, dmuchnie bierze.
Więc był przed Bogimi szarojek uczy cały,
Nie wiem, że cyfrylibiec, iedziewczyna zgodnie kraśne jak wiśnie być młodze,
Których kształty i barwy mu sporów znalazłem węzłowat iszczę scenę ostatnią;
Lecz
@janek_: Robiłem to w ramach zajęć z ML. Firma wykupiła nam semestr zajęć z wykładowcami z AGH. Nawet jest wywiad w necie ze mną o tym kursie.