@ethize: woah, czyli możliwości jak istniejące, ale idą w kierunku tego by nie dopłacać/nie dawać limitu 2 query dziennei

@Almagest: Nie, chodzi o Gemma 4, LLM który postawisz se u siebie w domu z contextem do 260k tokenów. Świat szepce że lepsze niż Qwen.

Google pozamiatało chińskie modele :-) To dobrze bo nie wiadomo co tam małe chińskie rączki upchnęły w tych deepseekach a teraz będzie można odpalić mocny model lokalnie.

Opcja 31 B parmaterów to 19GB + jakiś sensowny kontekst (bez szału) to pewnie zajmie z 24GB+.

@gonhez: Coraz więcej jest sprzętów 128GB na których pójdzie to swobodnie bez kwantyzacji + bardzo duży kontekst i szybkość generowania (duży KV Cache). Są te wszystkiePokaż całość

@ethize: Chodzi o jakość do liczby parametrów dla darmowych modeli.

Z tego wykresu wynika że jest zdecydowanie lepiej niż dla chińskich modelu. Na ale jak jest w rzeczywistości to się dowiemy przy niezależnych testach.

@ethize: woah, czyli możliwości jak istniejące, ale idą w kierunku tego by nie dopłacać/nie dawać limitu 2 query dziennei

@ethize: Opcja 31 B parmaterów to 19GB + jakiś sensowny kontekst (bez szału) to pewnie zajmie z 24GB+.

@kwanty: Pisałem to z perspektywy zwykłego Kowalskiego z gpu ze średniej półki, który dziś przeczytał tego newsa, zapragnął sobie taki model pobrać i lokalnie uruchomić choćby w LM Studio, to niestety puki co nie dla niego ale wszysko zmierza ku lepszemu.

@kwanty: chinskie modele tez maja dostep do turboQuant