[kimikini]

minecraft napisany w 100% przez AI Cloude sonnet :)
https://websim.ai/c/vfluu34IS6MDDgtzb

#programowanie #programista15k #pracait #ciekawostki #technologia

[WpiszSwojLogin]

@kimikini: co to znaczy napisany w 100% przez ai?

[9Japko9]

@WpiszSwojLogin: pewnie to, że miało zaciągnięty pełny kod do minecrafta, którego pewnie masa w internecie i tak oto AI zrobiło rozbudowaną grę od zera

[iedynak]

@9Japko9 Modele LLM tak nie działają, one nie mają w pamięci żadnych "zassanych" danych, tekstów, czy zdjęć, a jedynie miliardy parametrów, dzieki którym są w stanie wyświetlić odpowiedź na inputowe zapytanie.

[zobq]

@iedynak: mają w pamięci te dane, tylko, że w postaci właśnie tych miliardów parametrów. Dodatkowo można skazić dane uczące (czasem przez przypadek, czasem nie). I wtedy zdarza się, że rozwiązanie napisane przez LLMy do jakiegoś zadanka programistycznego to kropka w kropkę rozwiązanie z neta.

[ly000]

mają w pamięci te dane, tylko, że w postaci właśnie tych miliardów parametrów.

@zobq: o, to zupełnie tak jak ludzki mózg :)

[Moroder]

@kimikini: nawet tekstury narysowało i wcale nie wzięło większości kodu z innych takich implementacji jak udowadniano wcześniej xd

[zobq]

@zobq: o, to zupełnie tak jak ludzki mózg :)

@ly000: eh, kolejna ofiara wielu lat uproszczeń przy tłumaczeniu działania sieci neuronowych.

[keksoa]

@zobq:

I wtedy zdarza się, że rozwiązanie napisane przez LLMy do jakiegoś zadanka programistycznego to kropka w kropkę rozwiązanie z neta.

Ciężko żeby nie było skoro modele językowe nie myślą tylko sobie obliczają prawdopodobieństwo występowania odpowiednich tokenow po sobie. A skąd te prawdobienstwo jest brane ano z neta na podstawie częstotliwości występowania danych fraz ze sobą.

Chyba że coś się

[Bejro]

@zobq: Nie, udowodniono to naukowo - to działa tak samo jak ssaczy mózg.

[zobq]

@Bejro: bzdura, choćby dlatego, że LLMy nie zmieniają swojej struktury po zakończeniu procesu uczenia.

ogólnie, to sieci neuronowe mają tyle wspólnego z prawdziwymi mózgami, co algorytmy rojowe z rojami pszczół. Naukowcy wpadli na pewien koncept zainspirowani naturą i tyle. Później są już próby optymalizacji i opracowywania jak najskuteczniejszych modeli. Nie ma tu prób naśladowania mózgów 1 do 1.

[Bejro]

@zobq: To, że struktura jest stała niczego nie udowadnia. Sieć może być stale doszkalana ale nie musi i zazwyczaj nie jest. Sieci transformatorowe (jak LLMy) używają tego samego modelu matematycznego do szukania i odczytu informacji co hipokamp i to fakt. Stało się to przez przypadek (nie było świadomych prób naśladownictwa) ale jednak, skończyliśmy z takim samym rozwiązaniem jak to zaproponowane przez ewolucję.

[zobq]

@zobq: To, że struktura jest stała niczego nie udowadnia. Sieć może być stale doszkalana ale nie musi i zazwyczaj nie jest.

@Bejro: Nie jest, bo takie doszkalanie nie wpływa pozytywnie na jakość LLMów, w przeciwieństwie do mózgów istot żywych. To jest istotna różnica.

i to fakt

to czekam na jakieś linki skoro to fakt.

[Bejro]

@zobq proszę, artykuł w którym pokazują, jak hipokamp i model transformatorowy przezentują takie same wzory aktywacji. https://ar5iv.labs.arxiv.org/html/2112.04035

[zobq]

@Bejro: dzięki, zapoznam się później.

[peoplearestrange]

@kimikini: o, moze ten klałde potrafi stworzyć pętle bez tworzenia funkcji w niej albo jakis dobry upsercik