Wszystkie LLMy działają na procesorach graficznych, które ciągle muszą odczytywać i zapisywać dane do VRAM. Żeby działało to jakkolwiek wydajnie cały model i cache musi zmieścić się w VRAM. Dlatego żeby odpalić przyzwoity model trzeba mieć w cholerę pamięci, a i tak dostaniemy maks kilkaset tokenów na sekundę, bo wymiana danych ma swoje ograniczenia.

Takie podejście jest konieczne, ze względu na to, że modele ciągle się zmieniają. Ten sam hardware może dzisiaj wspierać
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Anonim5: Bo matematyka. Kolor w wyświetlaczach koduje się jako nasycenie czerwonego, zielonego i i niebieskiego. czyli typowy model RGB. Wartości natężenia każdego z tych 3 kolorów kolorów w pikselu są w granicach od 0 - 255, czyli tyle ile można zapisać w 8 bitach. To daje właśnie trochę ponad 16.7 milionów kombinacji kolorów.
Nie ma potrzeby ograniczać się do 10 mln kolorów, ponieważ zapis od 0 - 215 zająłby tyle
  • Odpowiedz
@D00M666: Słaba ta teoria spiskowa.
Lepsza byłaby, gdyby zamienić Hindusów na Reptylian, działających z tajnej nazistowskiej bazy, znajdującej się po ciemnej stronie Księżyca... xD
  • Odpowiedz
https://www.morele.net/wiadomosc/rtx-6000/24161/

Mówią że RTX 6080 pod koniec 2027 roku (czyli w momencie premiery) będzie kosztowała 6000 tysięcy złotych. Jednym słowem wszystko się zgadza, bo seria RTX 6000 i cena 6000 złotych. Lepiej być nie mogło xD

https://preview.redd.it/new-rtx-6080-v0-fx8tbdxt7mje1.png?auto=webp&s=058c8585b9ce6354cc5c0b52332493b6f731a975

#komputery #informatyka #kartagraficzna #podzespolykomputerowe #technologia #ciekawostki #grafika #podzespolykomputerowe #nvidia #rtx
radzioso532 - https://www.morele.net/wiadomosc/rtx-6000/24161/

Mówią że RTX 6080 pod...

źródło: new-rtx-6080-v0-fx8tbdxt7mje1

Pobierz
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach