[JamesJoyce]

Ćwiczenie intelektualne.

AI nie ma problemu z halucynacjami. Ma problem z niekompletnym Gödlem.
Każdy płacze że GPT “halucynuje”. Ale nikt nie pyta DLACZEGO.
Odpowiedź jest piękna i przerażająca: LLM to system, który nauczył się kompresować dystrybucję prawdopodobieństwa nad przestrzenią wszystkich możliwych sekwencji tokenów. Nie “myśli” - interpoluje w manifoldzie.
Kiedy pytasz “kto wygrał mundial 2026”, model nie “kłamie”. On próbuje znaleźć najbardziej prawdopodobną kontynuację w jego reprezentacji świata. A w jego latent space istnieje trajektoria która prowadzi do odpowiedzi, bo składnia pytania i struktury odpowiedzi są identyczne jak dla 2022, 2018, 2014…
To nie bug. To fundamentalna cecha systemów uczonych na przewidywaniu następnego tokena.

Teraz plot twist: ludzie robią dokładnie to samo. Twój mózg to bayesian inference engine który halucynuje całą rzeczywistość i kalibruje ją sensorycznie. Każde “wspomnienie” to rekonstrukcja w manifoldzie, nie zapis. Dlatego false memories istnieją.

Różnica? Twój mózg ma 86 miliardów neuronów z trilionami połączeń i 500 milionów lat ewolucyjnego fine-tuningu na groundingu w rzeczywistości fizycznej.
GPT ma… teksty z internetu.

Realny insight: Problem nie jest w “halucynacjach”. Problem jest w tym że próbujemy stworzyć system który ma reprezentować prawdę o świecie ucząc go WYŁĄCZNIE na korelacjach statystycznych w języku. To tak jakby próbować wywnioskować fizykę czytając wyłącznie opisy eksperymentów, nigdy ich nie wykonując.
Platońska jaskinia, tylko AI siedzi w jaskini tekstu.

Chcesz real AGI? Nie scaling laws. Embodiment + causal models + symbol grounding. Albo zostaniemy z coraz większymi papugami stochastycznymi.

#ai #filozofia #deeplearning #cognitivescience#sztucznainteligencja #programista15k

[JamesJoyce]

#sztucznainteligencja

[polskie-k0rpo]

@JamesJoyce: czy to był konkurs na użycie jak największej liczby trudnych słów? ( ͡° ͜ʖ ͡°)

[JamesJoyce]

@polskie-k0rpo a uważasz to za trudny wpis?

[polskie-k0rpo]

@JamesJoyce: czy logicznie trudny to nie wiem, po prostu nie znam połowy użytych słów (╯︵╰,)

[mattt-pittt]

@JamesJoyce: Bardzo dobrze różnicę widać w sposobie w jaki GPT generuje odpowiedź. Model generuje odpowiedź sekwencyjnie, przewidując kolejne słowo na podstawie poprzednich. Nie planuje całej wypowiedzi z góry tylko buduje ją krok po kroku. Człowiek natomiast zwykle zaczyna od zamiaru i ogólnej struktury wypowiedzi, a dopiero potem dobiera słowa.

[JamesJoyce]

@polskie-k0rpo AI nie “halucynuje”. Ono interpoluje.
GPT to system trenowany na przewidywaniu kolejnego słowa. Kiedy pytasz “kto wygrał mundial 2026”, model nie kłamie - on znajduje najbardziej prawdopodobną kontynuację na podstawie wzorców z treningowych danych.
Składnia pytania wygląda identycznie jak dla 2022, 2018, 2014… więc model dopasowuje odpowiedź. To nie bug, to feature systemu który uczy się wyłącznie z tekstu.
Plot twist: Twój mózg robi to samo. Każde wspomnienie to rekonstrukcja,

[polskie-k0rpo]

@JamesJoyce: a co gdyby podłączyć do modelu I/O z elementarnych sensorów optycznych, takie jak mają żywe istoty? czy to by coś zmieniło w opisanym przez ciebie problemie Platońskiej jaskini?

[JamesJoyce]

@polskie-k0rpo Ale uwaga - nie wystarczy “podłączyć kamerkę do GPT”. Problem jest głębszy:
1) Obecne LLM są trenowane offline na statycznym korpusie. Tekst → tekst. Zero feedback loop z rzeczywistością.
2) Sensor ≠ grounding. Możesz dać modelowi milion zdjęć kotów i nauczyć go rozpoznawać “kot”. Ale czy on WIE co to kot? Czy wie że kot ma masę, temperaturę, że miauczy, że reaguje na dotyk?
3) Real grounding wymaga:
• Działania w czasie rzeczywistym

[PopeLeon]

@JamesJoyce: dlatego mam bekę z tych naganiaczy na AGI, współczesne AI to zwykły powielacz, kserokopiarka i nic więcej

[kwanty]

@JamesJoyce: Jest kilka pomysłów na to żeby zmniejszyć halucynacje i one są wdrażane i halucynacje spadają. Najfajniejsze wytłumaczenie halucynacji które słyszałem to nieumiejętność powiedzenia "nie wiem". A bierze się to pośrednio ze sposobu trenowania, a konkretnie fazy RLHF (reinforcement learning from human feedback), gdzie ludzie oceniają czy model poprawnie odpowiada.

Problem jest w tym, że jak model nie wie to zgaduje i jak zgadnie to dostanie nagrodę bo oceniający człowiek nie