Inżynier Netflixa otworzył za darmo narzędzie do cięcia kosztów AI o 90%

Project Headroom kompresuje tokeny przed wysłaniem do modelu językowego, eliminując powtarzające się dane. Logi serwera odchudza o 90%, JSON o 70%. Łącznie zaoszczędzono grupie użytkowników ponad 700 tys. dol. przy 200 mld tokenów. Kod dostępny na GitHubie.

[LudzieToDebile]

Kompresuje to złe słowo. On je przycinał usuwając dane nadmiarowe. Czyli zostawiał same konkrety.

[kotbehemoth]

@LudzieToDebile:

przycinał usuwając dane nadmiarowe

To właśnie kompresja. Chociaż bardzo prosta.

[Niech_moc_bedzie_z_toba]

@2152: „nie wysyłasz 2 raz tego co już ostało wysłane” czyli usuwasz to co zbędne i wysyłasz to co niezbędne do odczytu polecenia. To jest właśnie kompresja. Tak samo jak mój cytat twojej wypowiedzi.

[kill15you]

Czyli co koszty spadną więc będzie taniej? Czy może ceny trzeba będzie podnieść? XD

[KochanekAdmina]

Czy może ceny trzeba będzie podnieść? XD

@kill15you: Nie da się podnosić ceny tokenów w sytuacji kiedy Chińczycy za punkt honoru wzieli sobie r--------e Amerykanów na rynku AI za sankcje xD DeepSeek jest 95% tańszy od Amerykańskiej konkurencji (i tylko trochę gorszy), a poza tym lokalne AI są coraz lepiej optymalizowane i Qwen wychodzi na model który w przeciągu kilku lat może być TYM DOMYŚLNYM MODELEM W KAŻDEJ FIRMIE, poza

[kill15you]

@KochanekAdmina: tez nie mam pojęcia. jeśli jeszcze do tego dojdą modele odpalane lokanie. oni budują te centra, teraz wszyscy na raz jednocześnie windując ceny wszystkiego, np. ram, dysków nie mówiąć już o GPU xD
Jednocześnie windując ceny kart graficznych zostawili ten rynek dla konkurencji, dla konkurencji z chin która ma w miare dogodne warunki na tworzenie własnych GPU i tym sposobem stworzyli: LX 7G100.
I teraz ta karta jest w tyle jeszcze,

[model_trzy_zmianowy]

Zrobiłby jakaś apke do liczenia kalorii, a nie się pierdołami zajmuje

[SpecX]

@model_trzy_zmianowy: albo nowy kalkulator BMI, to by się nam przydało.

[Pro-Xts]

@model_trzy_zmianowy: @SpecX albo kalkulator wagi, wzrostu i numeru buta na podstawie kalorii i BMI. Co teras?

[ubijakitopiel]

Czyli coś jak caveman?

[Bejro]

Ogólnie to korporacje jak na razie nie przejmują się tymi kosztami ale miejsca do poprawek jest mnóstwo. Chyba nikt nie korzysta z cachowania i customowe claude cody na wejściu przepalają mnóstwo tokenów albo ładują sobie do pamięci tysiące tokenów ale nie z jakiegoś prekompilowanego readme a iterując sobie dokumentację przy pomocy narzędzi. Już nie mówiąc, że LLMy są powoli na wyjściu i zaraz będzie nowa generacja AI która jest 100 razy mniejsza

[Bejro]

@glass3: A wiesz chociaż jak te modele działają i jak bardzo są przeparametryzowane? Nie musisz znać wszystkich książek Harrego Pottera na pamięć aby odpowiadać na logiczne pytania - a na tym opiera się uczenie LLMów - wrzuć całą wiedzę świata w nadziei, że model nauczy się myśleć - niby to działa ale większość wag modelu to martwa masa i w sumie wystarczy mały model który sobie poszuka informacji (już dawno

[mrreow]

@Bejro: Przede wszystkim na razie AI operuje na wielozadaniowych kartach graficznych zdolnych do badania i trenowania nowego AI ale okropnie wolnych.

Jeśli dojdziemy do momentu krystalizacji to przejdziemy bardzo szybko na wyspecjalizowany krzem tylko do jednego modelu który będzie mieć wypalone weights i będzie ultra szybki, tysiące razy szybszy.

Na razie jest to ogromnie powolne bo trzeba miec tę uniwersalność sprzętową do badań.

Testowali już taki wyspecjalizowany układ z małym

[konsument]

Ale to zmienia samo działanie algorytmu (LLM to dalej algorytm). Zobaczcie co się dzieje z TF-IDF przy takim trimmingu / "deduplikacji".

[JozinZBazin5002]

o̶t̶w̶o̶r̶z̶y̶ł̶ , udostępnił

[osadzeszklanki]

ja prdl - nie rozumiem nic, idę poszukać jakiejś fajnej urny ....

[Dzikiczan]

Pomysł fajny, ale nie bardzo to działa w zastosowaniach z agentami. O ile kompresja w zwykłym czacie daje radę i pozwala oszczędzić nieco na czasie, tak bywa uciążliwa w innych zastosowaniach. Sam pomysł i fakt, że idziemy w kierunku "kombinowania" a nie tylko czystej wydajności generowania tokenów bardzo mnie jednak cieszy. Od dawna obserwuję rozwój i różnice między głównymi konkurentami. Testuję i weryfikuje ich rozwiązania i narzędzia które pomagają wycisnąć jak najwięcej

[dreadingit]

@Dzikiczan

Czy coś więcej o tych potencjalnych domowych i mniej kosztownych rozwiązaniach możesz napisać?

[eturbo]

No i niby co my zwykli konsumenci Copilot CLI mamy z tym zrobić? ( ͡º ͜ʖ͡º) Jak rozumiem w prompcie wjeżdża: "Hey copilot, powiedz mi jak mogę to zastosować w moim projekcie ##Link##' ( ͡°( ͡° ͜ʖ( ͡° ͜ʖ ͡°)ʖ ͡°) ͡°)