Google odchudziło AI o 85%. Nowa technologia może zakończyć dyktaturę RAM-u

G Research zaprezentowało technologię TurboQuant, która pozwala nawet sześciokrotnie zmniejszyć zapotrzebowanie modeli AI na pamięć RAM i jednocześnie znacząco przyspieszyć obliczenia. Dzięki kompresji danych do zaledwie kilku bitów modele takie jak Llama czy Gemma mogą działać na twoim laptopie.

[niko444]

Clickbajt oczywiscie bo chodzi jedybie o odchudzenie kvcache a nie cale modele i nie ram nie potanieje przez to

[czatgpt]

@niko444: W ostatnich latach w mediach ciężko znalezc cos innego niż clickbait

[not-sweet]

@niko444: Tyle że to jest dramatyczna różnica. Przykładowo, lokalnie mam 19 GB model qwen3-coder, który pracuje z 16k tokenami w kontekście. Z tym rozwiązaniem mogę mieć 128 tys. tokenów, co jest znaczącą różnicą. Zmieni to generowanie obrazów, muzyki, wideo, kodowanie - wpłynie na wszystko. I przede wszystkim nawet ktoś taki jak ja, kto używa konsumenckiej karty graficznej, może więcej poszaleć bez wydawania tony na specjalistyczny sprzęt.

[C0RM]

No tak nie do końca prawda z tym zmniejszeniem AI o 85%.
Nie odchudzili AI tylko pozwalają na lepsze "skompresowane" tekstu który się wysyła do AI. Jak jakiś model potrzebował 200GB na uruchomienie to nadal tyle potrzebuje, jednak można mu teoretycznie wysłać więcej danych. Teoretycznie bo przy dużej ilości i tak zacznie halucynować

[helghast]

@C0RM: nie wiem za co dostajesz minusy

[jak_ta_lala]

Powoli lecz nieubłaganie nadchodzi czas modeli uruchamianych lokalnie. Świat potrzebuje modeli open source. Aż mnie szlag trafia że obecne open source to robienie za darmo pod korpo zamiast budowa konkurencyjnych rozwiązań. Potrzebujemy modeli open-source, takich w których model, procedura uczenia, zbiór uczący i testowy są dostępne dla każdego.

[keeper772]

@jak_ta_lala: powodzenia XD llama 3 była trenowana na ok 60 TB danych, na 16 000 kart graficznych przez 54 dni. Niewykonalne do zrobienia w domu

[neo78]

Jeśli nie powstaną rozwiązania o których piszesz, stopniowo, wiedza będzie znikać z książek i tekstowych wersji cyfrowych i być przenoszona do modeli AI, które są własnością korporacji. Wszelka nowa wiedza będzie ładowana bezpośrednio do modelu. Stare książki pewnie szybko nie znikną, ale na nowe książki i artykuły nie będzie zapotrzebowania, bo każdy będzie wolał zapytać AI.

@Lalatina: To się już dzieje, a nawet stało. Tylko trzeba mieć odpowiednią ilość VRAM.

[masshacker]

Super temat, ale albo translator sie jebnal w jednostkach, albo to wał… co mozna kontekstowo sprzedac poprawnie w bitach?

[lemon0042]

@masshacker: Algorytm kompresuje dane przechowywane w pamięci kontekstowej (KV cache) nawet do około 3 bitów na wartość — zamiast typowych 16 bitów używanych podczas inferencji. W praktyce pozwala to zmniejszyć zużycie pamięci kontekstowej nawet o około 80%, bez zauważalnego spadku jakości odpowiedzi modelu.

[zagubionychromosom]

@nie-ma-letko: będzie tanio i jako tako

[mirkogreg]

Kompresja do "kilku bitów danych" taaa

[sejbr]

@mirkogreg: No i co marnujesz zasoby?! Twoje zdanie zjadło 312 bitów, bydlaku xD

[LadySandra]

przyda sie jedynie jak chce sie mieć duży context window.

[abhagebhar]

Jak mam proste rozwiązanie na problemy tego typu : zlikwidować wszelkie darmowe AI. Zasoby przejdą na wersje płatne i ogólnie zmniejszy się zapotrzebowanie na te zasoby. Dodatkowo przestaniemy być zalewani gównocontentem AI robionym z nudów a ludzie będą musieli znowu zacząć myśleć ciut bardziej samodzielnie. Same zalety.

[PopeLeon]

Mam nadzieję że doczekam wywiezienie Altmana na taczce przez inwestorów za to co zrobił z cenami RAMu

[JanuszBizneswoman]

STOP DYKTATURZE RAM-U!