@Ksiega_dusz: 2^18 skala inputu?

@Ksiega_dusz: A. nie widzialem nicka xd

@MilionoweMultikonto: no tak interfejsy do modeli generują dopamine

@lonceg: tak

@kwanty @MilionoweMultikonto

Sory za złe oznaczenie
o: no ta chociaż autor twierdzi, że jeszcze sprawdza. Przypomniał mi się papier z chot

reasoning, yielding improvements that are much stronger
than ablations and robust to different annotators, exemplars, and language models

@MilionoweMultikonto @kwanty

Napisałem, że ciekawostka, bo to bardzo ciekawe.

RLM próbuje rozwiązać to od strony pojemności jak sprawić, żeby pojedynczy model obsługiwał coraz większe okna kontekstowe bez degradacji jakościPokaż całość

@JanTadeusz: Czytales paper?

@JanTadeusz: Skala kontekstów: Podam Ci, wyszukaj sobie

RLMs successfully handle inputs up to two orders of magnitude beyond model context windows.

For each task, we scale the input length from 2¹³ to 2¹⁸. (czyli od 8K do 262KPokaż całość

@JanTadeusz: Oki z opisu pod wykresem tez to wynika. Doslownie jest to napisane. Najdluzszy mial 2^18 il

@JanTadeusz: I o co chodzi z "i jak zadam mu pytanie"? Jakie ty mi pytanie zadales? w tym wpisie wczesniej?

@Lowca-absurdow: alez to nie o to chodzi, wiemy generalnie wiele na temat tego jak modele rozumieja kontekst. Natomiast ja nie mam tego wgranego w swoje wagi, do ktorych mam dostep aktywny, jak query. Llmy maja, chociaz teraz moga twierdzic, ze nie

@plaisant: tam jest 11 mln w opcji maksymalnej. I paper nie sugeruje, ze to nie jest mozliwe. Jest to napisane. Ze jest zakres.

@MilionoweMultikonto: Panie, zle Ciebie i kwant oznaczylemt tak, tzn ja juz rzadko pisze prompty. Mam albo szablony, albo mcp, albo toole, algo agentow cokolwiek. Pisze prompty o p------y

i teraz @kwanty tam jest rzad wielkosci powtorze:

RLMs successfully handle inputs up to two orders of magnitude beyond model context windows.

For each task, we scale the input length from 2¹³ to 2¹⁸. (czyli od 8K do 262K tokenów)Pokaż całość

@cebulowy_krezus: Problem: Trenowanie agentów AI wymaga interakcji z wieloma różnorodnymi środowiskami, ale tworzenie takich środowisk jest drogie i trudne do skalowania. Symulowanie środowisk przez LLM-y jest zawodne (halucynacje) i kosztowne.
Rozwiązanie: AWM to pipeline do automatycznego generowania syntetycznych środowisk, w których agenci mogą się uczyć przez reinforcement learning. Wygenerowano 1000 środowisk z łącznie 35 000 narzędzi i 10 000 zadań.
Jak to działa (5 kroków):

Scenariusze — LLM generuje opisy aplikacji (e-commerce, finanse,Pokaż całość

@artek-jablonski: jakby coś to nie uważam tego za model swiata

@cebulowy_krezus: https://github.com/Snowflake-Labs/agent-world-model

Możesz się pobawic tu w repo snowflake

@szachrai:

Byku na czym jak na czym, ale na estetyce się znam

sztuka polega na interpretacji, ale interpretacja czego? Żeby coś interpretować, musi za tym stać intencja, wybór, decyzja. AI nie wybiera. Generuje statystycznie prawdopodobny output. To nie jest to samo co aktPokaż całość

@szachrai: ta tworzysz prompt- nie rozumieszaj mnie.