[JamesJoyce]

#programista15k #sztucznainteligencja #si #programowanie

Ciekawostka. I więcej informacji w jednej rozmowie (kontekście) tym gorzej. Model zwyczajnie traktuje całość jak zmienne w kodzie I przestawia je sobie, elegujac obsluge tych części do slabszych podmodeli, prowadzac do spadku jakości.

[Ksiega_dusz]

@JamesJoyce: Ja pracuje z modelami co zachowują pamięć i cały czas się uczą.

[JamesJoyce]

@Ksiega_dusz: 2^18 skala inputu?

[JamesJoyce]

@Ksiega_dusz: A. nie widzialem nicka xd

[Erk700]

@JamesJoyce: AI też nie chce się koncentrować w dobie coraz większego zalewu informacyjnego ( ͡° ͜ʖ ͡°)

[PiszeCzasen]

@Ksiega_dusz: a z lekarzami pracujesz? ( ͡°( ͡° ͜ʖ( ͡° ͜ʖ ͡°)ʖ ͡°) ͡°)

[AGS__K]

Pierwszy raz widze na głownej Wypoku wpis z 1 plusem (ⴲ﹏ⴲ)/

[w9rT_wv_bIAn37l]

@AGS__K: magia tagu #sztucznainteligencja ( ͡° ͜ʖ ͡°)

[kwanty]

@JamesJoyce: swoją drogą, 128k tokenów w prompcie to jest duża książka - to jest ogrom informacji "podręcznych", człowiek nie potrafi zapamiętać kilku zdań a co dopiero całej strony czy książki

[dict]

128k tokenów w prompcie to jest duża książka

@kwanty: to nawet nowela nie jest

[remul]

Pierwszy raz widze na głownej Wypoku wpis z 1 plusem (ⴲ﹏ⴲ)/

@AGS__K: Może to kwestia tagów. Może moderatora. Może czegoś jeszcze innego.
W każdym razie, gdyby to była tylko i wyłącznie kwestia plusów to na głównej byłyby takie "perełki" jak chociażby ta. ( ͡° ͜ʖ ͡°)
Na nasze szczęście - nie ma.
Nie wszystko nadaje się na główną.

[emas]

Źródło:
https://arxiv.org/abs/2512.24601

[lonceg]

@JamesJoyce: to trochę jak gdy przed warstwą transformatorową były zwykłe warstwy, a potem warstwy rekurencyjne, a potem LSTM.

[remul]

@kwanty: Ale jak zaczynasz mu dorzucać jakiś dodatkowy kontekst w postaci plików tekstowych do przejrzenia to już można łatwo dobić do tego poziomu.

[kwanty]

to nawet nowela nie jest

@dict: 1 strona A4 ma 500-800 tokenów tekstu, czyli 128k tokenów to ~200 stron A4 czyli ~500 stron typowej książki w formacie... książkowym. A tam jest skala do 1M tokenów...

To jest mnóstwo tekstu!

[MilionoweMultikonto]

@JamesJoyce: bo te rozmowy to tylko chwyt marketingowy. Normalnie wystarczy jeden prompt i jedna odpowiedź. Zamiast dopisywać kolejne wypowiedzi, należy modyfikować ten jeden prompt, aż do momentu w którym odpowiedź nas usatysfakcjonuje. Wiem że to nieintuicyjne, ale jak ktoś chce sobie pogadać z czatem ro też nie potrzebuje takiej wysokiej jakość odpowiedzi.

[glass3]

@kwanty: tylko też nie zapominaj że do context window też idzie cała faza "myślenia", a modele są tam zazwyczaj dość wylewne.

[plaisant]

swoją drogą, 128k tokenów w prompcie to jest duża książka - to jest ogrom informacji "podręcznych", człowiek nie potrafi zapamiętać kilku zdań a co dopiero całej strony czy książki

@kwanty: wkładam do DeepSeek ponad 2 mln tokenów na 24h. Jeden z najtańszych modeli który dobrze się sprawdza do obliczeń. Działa jak marzenie. Zjada pół dolara na 24h.

Gemini i Grok dostaje 60-70k znaków tekstu co 30 min. Raz zauważyłem że nie sprawdzała

[JamesJoyce]

@MilionoweMultikonto: no tak interfejsy do modeli generują dopamine

[JamesJoyce]

@lonceg: tak