Wpis z mikrobloga

@ethize: woah, czyli możliwości jak istniejące, ale idą w kierunku tego by nie dopłacać/nie dawać limitu 2 query dziennei


@Almagest: Nie, chodzi o Gemma 4, LLM który postawisz se u siebie w domu z contextem do 260k tokenów. Świat szepce że lepsze niż Qwen.
  • Odpowiedz
Google pozamiatało chińskie modele :-) To dobrze bo nie wiadomo co tam małe chińskie rączki upchnęły w tych deepseekach a teraz będzie można odpalić mocny model lokalnie.

Opcja 31 B parmaterów to 19GB + jakiś sensowny kontekst (bez szału) to pewnie zajmie z 24GB+.


@gonhez: Coraz więcej jest sprzętów 128GB na których pójdzie to swobodnie bez kwantyzacji + bardzo duży kontekst i szybkość generowania (duży KV Cache). Są te wszystkie
  • Odpowiedz
@kwanty: Pisałem to z perspektywy zwykłego Kowalskiego z gpu ze średniej półki, który dziś przeczytał tego newsa, zapragnął sobie taki model pobrać i lokalnie uruchomić choćby w LM Studio, to niestety puki co nie dla niego ale wszysko zmierza ku lepszemu.
  • Odpowiedz
  • 1
@ethize: Chodzi o jakość do liczby parametrów dla darmowych modeli.

Z tego wykresu wynika że jest zdecydowanie lepiej niż dla chińskich modelu. Na ale jak jest w rzeczywistości to się dowiemy przy niezależnych testach.
  • Odpowiedz