[JamesJoyce]

#programowanie #it #programista15k #sztucznainteligencja

Apple wydało niezwykle ważny artykuł, w którym dowodzi, że nie ma żadnych dowodów na to, by llmy korzystały z wnioskowania.

Co więcej, paper podaje, że : „we found no evidence of formal reasoning in language models . Their behavior is better explained by sophisticated pattern matching—so fragile, in fact, that changing names can alter results by ~10%!”

Gary Marcus wręcz stwierdza, że ogrom inwestorów straci wielkie pieniądze zainwestowane w obecne modele, ponieważ:

„Po prostu nie ma sposobu, w jaki możesz zbudować wiarygodnych agentów na tym fundamencie, gdzie zmiana słowa lub dwóch w nieistotny sposób może dać ci inną odpowiedź”

Polecam i artykuł i komentarze Marcusa i innych na Twitterze.

https://arxiv.org/pdf/2410.05229

https://x.com/garymarcus/status/1844794070092091597?s=46&t=m4xgLKFgqFafJXbRTotN1Q

[T.....a]

@JamesJoyce: AI to mem Cos jak blockchain 5 lat temu.
Sa ludzie co pracuja w blochainie? No sa. Sa firmy co to wykorzystuja? No sa. Pracuja w tym ludzie? No pracują. Jaki to ma wplyw na twoje przecietne zycie? A no zaden.

[deletenomads]

@JamesJoyce: I to trzeba było badanie robić? xd Wystarczyło zapytać kogoś kto siedzi w temacie czym są LLMy.

[h.....o]

@JamesJoyce: Przecież to nie była żadna tajemnica dla kogokolwiek, kto poważniej korzystał choćby z darmowych modeli.

[JamesJoyce]

@deletenomads: No jakbyś siedział, to wiedziałbyś, że debata na ten temat ma z kilka lat. Ogrom osób (niestety najczęściej nie naukowców zajmujących się AI) twierdzi, że AI wnioskuje. Teorie takie głosi oczywiście także nasz własny specjalista od AI prof. Andrzej Dragan ( ͡° ͜ʖ ͡°)

[SamBeliar]

@JamesJoyce:

[deletenomads]

@JamesJoyce: Być może mowa jest o jakimś nowym/hipotetycznym AI, a nie konkretnie o LLMach. ChatGPT potrafi chociażby obejrzeć gifa i streścić co się na nim znajduje, albo przerobić zdjęcie, więc to już więcej niż sam model językowy, który generuje tekst.

Bo AI będzie wnioskować, i prędzej czy później osiągnie stopień świadomości porównywalny z naszym (ale w formie AGI, a nie LLM - dwa różne systemy). Pytanie czy stanie się to

[pa6lo]

nie ma żadnych dowodów na to, by llmy korzystały z wnioskowania.

@JamesJoyce: W podobnym tonie wypowiadają się europejscy naukowcy, którzy wątpią w istnienie "emergent abilities", wskazując że to wyłącznie uczenie kontekstowe. link

[JamesJoyce]

@SamBeliar xdd znam wszystkie tajemnice g2

[JamesJoyce]

@deletenomads jak to coś więcej? Wcześniejsze narzędzia ekstrakcji wiedzy z nlp też to potrafiły

[fujiyama]

@JamesJoyce: przecież to jakiś trolling jest. Nikt nie wie co robi wytrenowana sieć neuronowa i co tak naprawdę liczy.
Żeby myśleć czy wnioskować to trzeba podłączyć jakieś zmysły, wprowadzić cykliczność przetwarzania, żeby maszyna funkcjonowała cały czas jak człowiek.

AI nawet samo nie zgada, działa na razie reaktywnie, więc nawet pies wygrywa z modelem.
Czy inwestorzy stracą pieniądze? Raczej nie, bo sam fakt analizy dużych ilości danych prowadzi do wielu wniosków.

[JamesJoyce]

@Tosty_z_Opiekacza nie no bez przesady. AI robi gigantyczne oszczędności w wielu przedsiębiorstwach i wielkich korpo.

[m.....t]

jak to coś więcej? Wcześniejsze narzędzia ekstrakcji wiedzy z nlp też to potrafiły

@JamesJoyce: Tym czymś więcej jest interfejs konwersacyjny, "prości ludzie" mogą skorzystać z tych modeli, do których wcześniej trzeba było naklepać snippet kodu. Z jednej strony mamy ogromny plus dla LLMów, z drugiej - obaj się zgodzimy, że to nie jest wnioskowanie.

[Bejro]

@JamesJoyce: Sam to obserwuję i się zgadzam. To samo z planowaniem - zero świadomości co do strategii. Ale mimo to, LLMy potrafią pisać rzeczywiste, prawdopodobne scenariusze oraz mieć kreatywne pomysły. Wystarczy dodać mechanizm próbkowania i filtrowania i stają się wystarczająco przebiegłe aby rozwiązywać problemy matematyczne lepiej niż 99.9999% ludzi. W sumie czy mamy dowód na to, że te ograniczenia nie dotyczą także ludzi.

[deletenomads]

@conamirko: No bez kitu xd Trochę tak jakby się zastanawiać, czy Windows 10 jest samoświadomy czy nie, i robić badanie na ten temat.

@JamesJoyce Są osobne narzędzia do generacji obrazu, osobne do generacji tekstu, osobne do generacji mowy, a jeszcze inne do grania w szachy. Obecnie GPT łączy to wszystko w jedno, tzn właśnie jest chociażby w stanie opowiedzieć ci co widać na zdjęciu. Tzn. łączy umiejętność "gadania" z

[T.....a]

Nie twierdzę, że na GenAI nie ma na rynku bańki, ale gwarantuję, że losu blockchaina nie podzieli.

@matt-pitt: Nie no troche przesadzilem. Bo faktycznie AI jest pomocne, tylko chcialem powoedziec ze nie wywroci stolika, tylko poprzestawia pare rzeczy.

Wlaczyl mi sie autyzm i chcialem byc kontrowersyjny.

[m.....t]

@Tosty_z_Opiekacza: Ten stolik jest tak duży, że nie da się skutecznie wywrócić, choćby przez jakieś historyczne naleciałości, czy dług technologiczny. Dobrze, że dostrzegasz, że temat jest przegrzany, ale na przyszłość bym trochę bardziej ostrożnie podchodził do oceny.

[T.....a]

na przyszłość bym trochę bardziej ostrożnie podchodził do oceny.

@matt-pitt: Niestety lubie zwracac na siebie uwagę, to chyba jakis rodzaj spie*dolenia umyslowego, wiec bede sie starał, ale bardzo mozliwe, ze znow sie kiedys odpale.