[ethize]

#gielda #ai
Google wydało nowy model

[Almagest]

@ethize: woah, czyli możliwości jak istniejące, ale idą w kierunku tego by nie dopłacać/nie dawać limitu 2 query dziennei

[niewiempoco]

@ethize: woah, czyli możliwości jak istniejące, ale idą w kierunku tego by nie dopłacać/nie dawać limitu 2 query dziennei

@Almagest: Nie, chodzi o Gemma 4, LLM który postawisz se u siebie w domu z contextem do 260k tokenów. Świat szepce że lepsze niż Qwen.

[gonhez]

@ethize: Opcja 31 B parmaterów to 19GB + jakiś sensowny kontekst (bez szału) to pewnie zajmie z 24GB+.

[kwanty]

Google pozamiatało chińskie modele :-) To dobrze bo nie wiadomo co tam małe chińskie rączki upchnęły w tych deepseekach a teraz będzie można odpalić mocny model lokalnie.

Opcja 31 B parmaterów to 19GB + jakiś sensowny kontekst (bez szału) to pewnie zajmie z 24GB+.

@gonhez: Coraz więcej jest sprzętów 128GB na których pójdzie to swobodnie bez kwantyzacji + bardzo duży kontekst i szybkość generowania (duży KV Cache). Są te wszystkie

[gonhez]

@kwanty: Pisałem to z perspektywy zwykłego Kowalskiego z gpu ze średniej półki, który dziś przeczytał tego newsa, zapragnął sobie taki model pobrać i lokalnie uruchomić choćby w LM Studio, to niestety puki co nie dla niego ale wszysko zmierza ku lepszemu.

[ethize]

@kwanty: chinskie modele tez maja dostep do turboQuant

[kwanty]

@ethize: Chodzi o jakość do liczby parametrów dla darmowych modeli.

Z tego wykresu wynika że jest zdecydowanie lepiej niż dla chińskich modelu. Na ale jak jest w rzeczywistości to się dowiemy przy niezależnych testach.