TurboQuant od Google powstał już rok temu, a dopiero dzisiaj spółki pamięciowe się zesrały
analiza by Gemini:
To bardzo przenikliwe spostrzeżenie. Choć na pierwszy rzut oka radykalna kompresja danych (o ponad 4,5x) mogłaby sugerować mniejszą sprzedaż kości pamięci, w rzeczywistości mechanizm ten może napędzić zyski producentów takich jak Samsung, SK Hynix czy Micron. Oto dlaczego technologie takie jak TurboQuant sprzyjają rynkowi pamięci: Odblokowanie nowych możliwości (Paradoks Jevonsa): Gdy technologia staje się wydajniejsza, jej całkowite zużycie często rośnie, zamiast spadać. TurboQuant pozwala na obsługę ekstremalnie długich kontekstów (nawet 104 tys. tokenów) przy zachowaniu wysokiej jakości. To sprawia, że firmy będą budować jeszcze większe systemy, które wcześniej były technicznie niemożliwe do zrealizowania. Zwiększenie skali wdrożeń AI: Obniżenie kosztów wnioskowania (inference) sprawia, że AI staje się bardziej opłacalne dla masowego odbiorcy. Większa liczba wdrożeń globalnych oznacza konieczność zakupu ogromnej liczby nowych serwerów wyposażonych w najszybsze pamięci. Popyt na pamięci HBM (High Bandwidth Memory): Dokument wskazuje, że głównym wąskim gardłem jest komunikacja między pamięcią HBM a procesorem (SRAM). TurboQuant, mimo kompresji, wciąż wymaga błyskawicznego przesyłu danych, co utrzymuje presję na stosowanie najdroższych i najbardziej zyskownych dla producentów typów pamięci. Rozwój baz danych wektorowych: TurboQuant drastycznie poprawia wydajność wyszukiwania najbliższych sąsiadów (NN), co jest fundamentem nowoczesnych baz danych. To napędza rozwój infrastruktury bazodanowej, która mimo wydajności, "puchnie" wraz z przyrostem danych na świecie. Obsługa większych modeli na tym samym sprzęcie: Praca podkreśla, że rozmiar pamięci podręcznej KV skaluje się wraz z rozmiarem modelu i długością kontekstu. Dzięki TurboQuant, klienci mogą uruchamiać potężniejsze modele o większej liczbie parametrów, co w skali globalnej wymusza ciągłe zakupy nowoczesnej infrastruktury pamięciowej. Podsumowując, czyniąc pamięć "tańszą w użytkowaniu" dla algorytmów, TurboQuant sprawia, że apetyt sektora AI na gigabajty staje się jeszcze większy.
Grafikę na wykop zrobił Gemini i sam dał nosacza xD
url="https:// research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/" $ wget -O- "$url" | grep -i publish | grep -i date | grep -E "[0-9]" | grep -oE "202.*" 20260324" 20260324"> Nie mówiłem o artykule na arxivie tylko na stronie google.
@osetnik: W jakimś sensie masz rację, ale chodzi o to, że to pokazuje opóźnienie giełdy na decyzje. Równie dobrze Google i inne firmy z AI mogły stosować ten algorytm od roku... więc dlaczego zamawiały tony pamięci...? To znaczy że mimo tego, że algorytm istnieje, jest zapotrzebowanie na pamięć
@ethize No więc, Panie i Panowie, Google wypuściło TurboQuant – technologię kompresującą dane 4,5x, a giełda się zesrała, bo myślała, że to koniec pamięciówek. Klasyka. Ale jak to w życiu bywa, im coś jest wydajniejsze, tym więcej tego żremy (patrz: Paradoks Jevonsa). AI, zamiast oszczędzać, tylko zwiększa apetyt na HBM-y i inne drogie zabawki. Czyli niby oszczędność, a w efekcie firmy będą budować jeszcze większe systemy i kupować więcej pamięci. To
zespoły researchowe największych firm technologicznych na pewno czytają arxiva
@ethize: ale dziennikarzyny i wall steet nie czyta. Czytają za to google, i jak google pisze o swoim "nowym" wynalazku, to znaczy że jest nowy. Dla nich. I adekwatnie reagują.
TurboQuant od Google powstał już rok temu, a dopiero dzisiaj spółki pamięciowe się zesrały
analiza by Gemini:
To bardzo przenikliwe spostrzeżenie. Choć na pierwszy rzut oka radykalna kompresja danych (o ponad 4,5x) mogłaby sugerować mniejszą sprzedaż kości pamięci, w rzeczywistości mechanizm ten może napędzić zyski producentów takich jak Samsung, SK Hynix czy Micron.
Oto dlaczego technologie takie jak TurboQuant sprzyjają rynkowi pamięci:
Odblokowanie nowych możliwości (Paradoks Jevonsa): Gdy technologia staje się wydajniejsza, jej całkowite zużycie często rośnie, zamiast spadać. TurboQuant pozwala na obsługę ekstremalnie długich kontekstów (nawet 104 tys. tokenów) przy zachowaniu wysokiej jakości. To sprawia, że firmy będą budować jeszcze większe systemy, które wcześniej były technicznie niemożliwe do zrealizowania.
Zwiększenie skali wdrożeń AI: Obniżenie kosztów wnioskowania (inference) sprawia, że AI staje się bardziej opłacalne dla masowego odbiorcy. Większa liczba wdrożeń globalnych oznacza konieczność zakupu ogromnej liczby nowych serwerów wyposażonych w najszybsze pamięci.
Popyt na pamięci HBM (High Bandwidth Memory): Dokument wskazuje, że głównym wąskim gardłem jest komunikacja między pamięcią HBM a procesorem (SRAM). TurboQuant, mimo kompresji, wciąż wymaga błyskawicznego przesyłu danych, co utrzymuje presję na stosowanie najdroższych i najbardziej zyskownych dla producentów typów pamięci.
Rozwój baz danych wektorowych: TurboQuant drastycznie poprawia wydajność wyszukiwania najbliższych sąsiadów (NN), co jest fundamentem nowoczesnych baz danych. To napędza rozwój infrastruktury bazodanowej, która mimo wydajności, "puchnie" wraz z przyrostem danych na świecie.
Obsługa większych modeli na tym samym sprzęcie: Praca podkreśla, że rozmiar pamięci podręcznej KV skaluje się wraz z rozmiarem modelu i długością kontekstu. Dzięki TurboQuant, klienci mogą uruchamiać potężniejsze modele o większej liczbie parametrów, co w skali globalnej wymusza ciągłe zakupy nowoczesnej infrastruktury pamięciowej.
Podsumowując, czyniąc pamięć "tańszą w użytkowaniu" dla algorytmów, TurboQuant sprawia, że apetyt sektora AI na gigabajty staje się jeszcze większy.
Grafikę na wykop zrobił Gemini i sam dał nosacza xD
#gielda #meczennicyalphabet #ai
źródło: 1000015220
Pobierz@ethize: a jaka data widnieje pod artykułem z Google?
28 Apr 2025 15:05:35
Submission history
From: Majid Daliri [view email]
[v1] Mon, 28 Apr 2025 15:05:35 UTC (2,330 KB)
url="https:// research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/"$ wget -O- "$url" | grep -i publish | grep -i date | grep -E "[0-9]" | grep -oE "202.*"
20260324"
20260324">
Nie mówiłem o artykule na arxivie tylko na stronie google.
To znaczy że mimo tego, że algorytm istnieje, jest zapotrzebowanie na pamięć
@ethize: nie, to pokazuje że nikt nie czyta arxiva, wszyscy czytają google.
@ethize: ale dziennikarzyny i wall steet nie czyta. Czytają za to google, i jak google pisze o swoim "nowym" wynalazku, to znaczy że jest nowy.
Dla nich.
I adekwatnie reagują.
Zgadzasz się?