✨️ Ucieczka od korpo: Pragnienie prostoty
Mam jakieś wrażenie że ten świat pędzi za szybko albo to ze mną coś nie tak. Po całym tygodniu w #korpo to ja mam ochotę jechać do lasu i zbudować ręcznie prymitywną chatkę, rozpalić ognisko i żyć jak prymityw przez jakiś czas. Czasem wracam z roboty i nie dziwie się sebkom pijącym na ławce bo chciałbym mieć taki mindset i żyć chwilą, proste życie
mirko_anonim - ✨️ Ucieczka od korpo: Pragnienie prostoty Ⓘ
Mam jakieś wrażenie że ten...

źródło: help-pls-eter-v0-ze597oxmpexd1

Pobierz
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Wszystkie LLMy działają na procesorach graficznych, które ciągle muszą odczytywać i zapisywać dane do VRAM. Żeby działało to jakkolwiek wydajnie cały model i cache musi zmieścić się w VRAM. Dlatego żeby odpalić przyzwoity model trzeba mieć w cholerę pamięci, a i tak dostaniemy maks kilkaset tokenów na sekundę, bo wymiana danych ma swoje ograniczenia.

Takie podejście jest konieczne, ze względu na to, że modele ciągle się zmieniają. Ten sam hardware może dzisiaj wspierać
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Anonim5: Bo matematyka. Kolor w wyświetlaczach koduje się jako nasycenie czerwonego, zielonego i i niebieskiego. czyli typowy model RGB. Wartości natężenia każdego z tych 3 kolorów kolorów w pikselu są w granicach od 0 - 255, czyli tyle ile można zapisać w 8 bitach. To daje właśnie trochę ponad 16.7 milionów kombinacji kolorów.
Nie ma potrzeby ograniczać się do 10 mln kolorów, ponieważ zapis od 0 - 215 zająłby tyle
  • Odpowiedz
@D00M666: Słaba ta teoria spiskowa.
Lepsza byłaby, gdyby zamienić Hindusów na Reptylian, działających z tajnej nazistowskiej bazy, znajdującej się po ciemnej stronie Księżyca... xD
  • Odpowiedz