AI uczona na własnych tekstach traci kontakt z rzeczywistością. Badacze z Oxford

Według naukowców modele językowe trenowane na własnych outputach zaczynają błędnie postrzegać rzeczywistość i tracą zdolność do nietypowych pomysłów. Bez dopływu ludzkiej twórczości mają ubożeć.

[stroggoslaw]

No coś takiego...

[henk]

@stroggoslaw zwłaszcza, że to nie pierwszy raz. dekadę temu Google Translator stał się tak dobry, że ludzie używali go do tłumaczeń i tłumaczenia te leciały do neta. Potem GT uczył się tłumaczyć z tego co sam wyprodukował. Efekt - jakość tłumaczenia drastycznie spadła

[Nakaz_Aresztowania_Seeda]

@stroggoslaw: no kto by pomyślał... xD

[z0mb1e]

Ale wysryw. Patrzcie na źródło: https://arxiv.org/pdf/2305.17493

Wiecie jaki model oni testowali? Meta OPT-125M z 2022 roku xD

W skrócie: wykorzystali stary model nadający się co najwyżej na automatyzację tasków do generowania danych do uczenia tego samego modelu (kilka razy) i byli wielce zaskoczeni, że model się zesrał. Powód dla którego wybrali tak mały, stary i kiepski model? Chęć "ograniczenia śladu węglowego".

Given

[z0mb1e]

@upadlatruskawa: Truskawa... przeczytaj co tam jest napisane xD

Po pierwsze to jest ten sam źródłowy paper z 2023, do którego linkowałem https://arxiv.org/pdf/2305.17493 xD

Po drugie: g---o, a nie GPT-4. Wklej sobie w tłumacza, jeśli nie kumasz po ang. To jest wstępniak, w którym wspominają istniejące modele

[upadlatruskawa]

@z0mb1e: no dobra. A czy nauczanie takiego nowego lub nowej wersji LLM różni się od tego użytego w gpt-2 czy 3.5 czymś poza ilością/jakością danych jakimi jest karmione? Bo jeżeli nie to czemu nowy claude czy gpt-5 miałoby nie halucynować i się nie rozpadać?

[clown_world_order]

To tak samo jak skrajna prawica lub skrajna lewica karmiona skrajnymi poglądami. Zatrucie umysłu i zerwanie kontaktu z rzeczywistością jest dość powszechne.

[ApageZ]

To tak samo jak skrajna prawica lub skrajna lewica

@clown_world_order: Otrzymane minusy potwierdzają Twoją tezę :-D

[szaloneneutrino]

@clown_world_order: no trzeba mieć nieźle nawalone we łbie, żeby wszystko łączyć z polityką

[kinlej]

Z walenia konia dzieci nie będzie

[SukajacSprawiedliwosci]

. Z każdym pokoleniem coraz gorsze dałniątka powstają.

@werfogd: Takie są fakty.

[enterprize]

Teraz można o wszystko zapytać AI bo te informacje są na stronach, forach, filmikach i innych. Pytanie co się stanie jak ludzie przestaną z lenistwa umieszczać tą wiedzę w internecie. Skąd wtedy AI będzie czerpać informacje…

[KierownikuPoratuj2zl]

@enterprize: to już się dzieje

[abcgggggggggggggggggggggggggggggggg]

@wykopiem_albo_zakopiem: no nie wiem, zobacz jak podupadły fora tematyczne, nikt nie będzie publikował jeśli wie że nikt tego nie przeczyta.

[editores]

AI to nie inteligencja i niczego się nie uczy.
Przestańcie okłamywać ludzi.
AI to statystyczna baza danych. I tyle. Wie tyle ile danych w nią wpuszczono.

[kwanty]

Bullshit i stek bzdur. Zapomnieli napisać, że uczyli model 7B bo na więcej ich nie było stać...

Jakoś deeoseek wydestylowany z dużych modeli jest bardzo dobry i tani

A jeszcze warto sobie przypomnieć, że ludzie uczą się z ludzkich książek a nie boskich czy kosmickich .. To jest wyłącznie kwestia skali która trzeba przekroczyć.

[Trunktwilight]

@kwanty: dokladnie, totalne p---------e, AI nie potrzebuje nawet danych do nauki, polecam poczytać o tym jak w deepseek wyuczyli model po prostu z samym sobą podczas gry - i ograł mistrza świata

[champolski]

@kwanty: Gorzej. Użyli mikro modelu z 2022 roku o "oszałamiających" 125 milionach parametrów służącego do nauki programowania LLMów.

OPT-125M był trenowany na relatywnie małej liczbie tokenów, przez co jego ogólna wiedza o świecie jest baaardzo płytka. Jego contex window to żenujące z obecnej perspektywy 2048 tokenów xD Ba, to jest czysty tekstowy transformer starej szkoły z podstawowym kodownaiem pozycji i bez zaawansowanych funkcjach "uwagi". Dzisiejsze nawet "głupie" modele pokroju Qwen

[Dopopopulis]

Wow wiesci z przed kilku lat. Chyba przeleżeli pod lodem ten czas.

[MshL]

spam, wiadomo o tym od 20 lat

[mkarweta]

I dobrze.