[JamesJoyce]

#sztucznainteligencja #ai #programowanie #programista15k #medycyna

Moje kochane ej aj, czemu mi to robisz?

"Stanford właśnie udowodnił, że GPT-5, Gemini i Claude tak naprawdę nie widzą. Usunęli wszystkie obrazy z 6 głównych testów wzroku. Modele nadal osiągały dokładność na poziomie 70-80%. Nigdy nie patrzyli na twoje zdjęcia. Twoje skany. Twoje zdjęcia rentgenowskie. Oto, co naprawdę się dzieje: ↓ Artykuł nosi tytuł MIRAGE. Współautorem jest Fei-Fei Li. Przetestowali GPT-5.1, Gemini-3-Pro, Claude Opus 4.5 i Gemini-2.5-Pro ​​w 6 testach — medycznym i ogólnym. Następnie po cichu usunęli wszystkie obrazy. Bez ostrzeżenia. Bez natychmiastowej zmiany. Modele nawet tego nie zauważyły. Ciągle szczegółowo opisywały obrazy. Diagnozowały schorzenia. Pisały pełne ślady rozumowania. Na podstawie obrazów, których nigdy nie było. Stanford nazywa to „efektem mirażu”. Nie halucynacją. Czymś gorszym. Halucynacja = zmyślanie błędnych szczegółów na temat prawdziwych danych wejściowych. Miraż = konstruowanie całej fałszywej rzeczywistości i wnioskowanie na jej podstawie z pewnością siebie. Modele tworzyły wyimaginowane zdjęcia rentgenowskie, opisywały fałszywe guzki i diagnozowały schorzenia – wszystko na podstawie samych wzorców tekstowych. "

https://arxiv.org/abs/2603.21687

https://x.com/heygurisingh/status/2039012548260082082

[PrzejeaneZycie]

@BlackpillMonster Banka pęknie, na pewno w końcu pęknie

[JamesJoyce]

@PrzejeaneZycie: Bańke wymyśliliście sobie Wy Wykopki!

[Peptalk]

@PrzejeaneZycie: ale co ma w zasadzie pęknąć? Bańka polegająca na komodytyzacji tworzenia software’u i że nie będzie potrzebnych tak wiele ludzi żeby tworzyć, ulepszać, utrzymywać oprogramowanie? Że pisanie kodu nie będzie już wąskim gardlem? Albo że pisanie kodu będzie umiejetnoscia której nie da się zastąpić? Jesli tak, to nie pęknie.

Nikt tych modeli nie puści samopas, halucynacje będą, będzie można je minimalizować systemami agentowi, ale nigdy ich w 100% nie

[t.....2]

@JamesJoyce: weź to jakoś prościej opisz, może na przykładach, bo ja tego nie rozumiem

[JamesJoyce]

@tubkas12: ten artykul?

[t.....2]

@JamesJoyce: różnica między mirażem a halucynacją

[JamesJoyce]

@tubkas12: Hallucination = making up wrong details about a real input.
Mirage = constructing an entire fake reality and reasoning from it confidently.

[t.....2]

@JamesJoyce: no ale co znaczy "tworzyć całkowicie sztuczną rzeczywistość" skoro modele nie potrafią odróżniać co jest prawdą a co nie tylko opierają się na statystyce czyli właśnie tworzą dane. dlatego ja nie widzę różnicy z halucynacją

przecież model nie mówi "sorry dave ja nie mam danych i nie wiem" tylko właśnie wymyślają

[JamesJoyce]

@tubkas12: miiraż w tym ujęciu to nie tyle "błędne odczytanie czegoś co widzisz", ale raczej "generowanie pozornie sensownego rozumowania wizualnego bez żadnej wizji" coś bliższego konfabulacji niż błędnej interpretacji. Imo one wiedzą, że opierają się na niczym, ale "kłamią".

[t.....2]

@JamesJoyce:

Imo one wiedzą, że opierają się na niczym, ale "kłamią".

Ale to wracamy do starej dyskusji która kiedyś mieliśmy. To co tutaj piszesz wymaga już jakieś świadomości i bycie bytem a nie narzędziem

[JamesJoyce]

@tubkas12: dlatego "kłamią" a nie kłamią specjalnie w sensie intencjonalnym, ale jednocześnie model (modele?) aktywnie symuluje proces percepcji którego nie wykonuje, i robi to systematycznie, nie losowo. To bardziej "wyuczona ścieżka na skróty" niż kłamstwo, ale efekt z perspektywy użytkownika jest podobny.

[t.....2]

@JamesJoyce: no ale czym to się różni od halucynacji?

[JamesJoyce]

no ale czym to się różni od halucynacji?

@tubkas12: w halucynacji model nie ma skąd wziąć odpowiedzi. W mirażu ma skąd wziąć (obraz), ale celowo wybiera krótszą ścieżkę i bierze odpowiedź z treningu językowego, udając że przetwarza dane wizualne. W paperze masz taki przyklad: kiedy powiedziano modelowi wprost "nie masz obrazu, zgaduj" wyniki spadły. Gdyby to była zwykła halucynacja, nie miałoby to znaczenia. Fakt że jawna instrukcja zmienia zachowanie sugeruje

[t.....2]

@JamesJoyce: no ale chodzenie na skróty to jak rozumiem po prostu oznacza że ktoś nauczył model żeby chodzić na skróty i to modelowi wychodzi że procentowo to jest najlepsza opcja przy określonym zestawie danych.

Jeśli model sam z siebie "chodzi na skróty" to znaczy że musi sam magicznie wartościować dane a wartościowanie wymaga swiadomosci

[t.....2]

@JamesJoyce: kłamanie to proces gdzie znasz prawidłową odpowiedź a specjalnie podajesz gorszą - bez świadomości nie choja jest to osiągalne .

[t.....2]

@JamesJoyce: nie wiem czy widziałeś film ex machina ale właśnie tam był ten motyw. Gościu stworzył AGI ale nie miał pewności czy to na pewno byt czy może oszukuje więc przeprowadził test: wziął swojego pracownika który nie miał kompletnie pojęcia o co chodzi i chciał żeby ten zaszedł w interakcje z Agi. Tutaj Agi była kobietą, jeśli Agi będzie wstanie uwieść pracownika, zmanipulować go by się uwolnić to masz jasny

[JamesJoyce]

@tubkas12: Nie no, zgadzam się, kłamanie to przenośnia

[t.....2]

@JamesJoyce: ja może jestem za głupi na taką dyskusje bo serio nie widzę różnicy xd trudno juz

[FLAC]

@JamesJoyce: trochę głupie badanie, bo sprawdza modele poza ich domeną działania.

To jak ludzie którzy przykładają opaskę fitness do papieru i pokazują "patrzcie, pokazuje puls na papierze, to znaczy że na pewno nie potrafi mierzyć prawidłowo pulsu u ludzi".
No nie, bo opaska była projektowana do mierzenia pulsu u ludzi, i to że wykrywa go na rolce papierowej nie znaczy że źle działa w sowim projektowanym zastosowaniu.

To że model

[JamesJoyce]

@FLAC: No własnie tam jest benchmark, ktory pokazuje, że acurracy spada, kiedy model wie, że nie ma.