mathmed
  • 6
Ostatnio mocno się zainteresowałem uruchamianiem lokalnie modeli językowych i testowaniem ich możliwości zwłaszcza w kwestiach wspomagania w programowaniu. Natomiast za cel tej zabawy przyjąłem sobie kwotę do około 2000zł i chciałem Wam opowiedzieć o moim finalnym już sprzęcie.

Zakupiłem serwer z drugiej ręki na Allegro.

Procesor Intel XEON E5-1620v4 3.50GHz, max turbo 3.80GHz, 4 rdzenie

Pamięć
  • 24
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
  • 1
To są karty bazujące na architekturze Pascal więc sporo nowych typów danych będzie niewspierane a CUDA też będzie miała ograniczenia. Czy będzie tam działać typ BF16 z którego dużo modeli korzysta?


@kwanty: cuda nie ma takiego znaczenia jeśli karta wspiera Vulkan. llama.cpp na vulkanie pozwoliła mi odpalić LLM nawet na Titan Black - architektura Kepler z 2013 roku. LLama praktycznie zawsze w momencie wykonywania obliczeń robi transformację na FP16, a
  • Odpowiedz
FLAC
  • 1
@kwanty: vLLM nie sprawdzałem, ale llama.cpp posiada RPC i testowałem to na 2 komputerach. To działa, i nie najgorzej ale nie będziesz mieć tak dobrej wydajności jak na 1 komputerze z 2 lub więcej GPU wpiętymi bezpośrednio do PCIExpress (nawet przy zwykłym layer split, nie mówiąc o row split). Ale pozwala to faktycznie załadować większe modele z użyciem samego VRAM i może ta konfiguracja być szybsza, niż 1 komputer gdzie
  • Odpowiedz
FLAC
  • 1
3. GPTOSS-120B

Serwer 10 tokenów/a, laptop - model nie działa, za mało pamięci


@mathmed: MOE ma fajną cechę że jeśli chcesz tylko krótkie rozmowy to spokojnie możesz ładować model o większym rozmiarze niż pamięć. W czasie inferencji najczęściej używane MoE będą rezydować w VRAM, następnie RAM, a najrzadziej używane zostaną na dysku. U mnie taka konfiguracja dale znośny TP/s dla GPT-OSS 120B który ma 60 GB a mam w kompie
  • Odpowiedz
FLAC
  • 0
@kwanty: ja wszystko odpalam za pomocą llama.cpp - tak już przywykłem mimo że to narzędzie CLI. https://github.com/ggml-org/llama.cpp/releases - nie wiem czy jedziesz na windowsie (ja tak) więc to prosta droga do odpalenia bez bawienia się w kompilacje, dockery i inne cuda (hehe).

Najprościej - pobierasz np wersję dla CUDA 12.4 + CUDA DLL. Rozpakowujesz, dll z pliku zip cuda wklejasz do folderu gdzie rozpakowałeś llame (nie wiem dlaczego tak, podejrzewam że
  • Odpowiedz
FLAC
  • 1
@kwanty: daj znać jak coś uda Ci się odpalić bo jestem ciekawy. vLLM ogólnie powinien być najszybszy z tych różnych silników inferencji ale też on jest mocno skrojony pod przemysłowe serwowanie LLM - czyli dużo batchy, dużo równoległych użytkowników. Llama jest IMO znacznie bardziej user friendly ze względu na gotowe binarki pod większość systemów, a wydajnością poza jakimiś skrajnymi scenariuszami nie odstaje bardzo mocno.
  • Odpowiedz
FLAC
  • 1
@mathmed: fajnie że działa. Ale docelowo i tak bym zmienił na 1 duże GPU.

To co piszesz z tym konfliktem sterowników to ciekawe, bo ja właśnie kilka dni temu bawiłem się zestawem 4090 + 3090 + Titan Xp, w sumie 3 różne generacje (Ada, Ampere i Pascal właśnie) dla uzyskania 60 GB VRAM i nie miałem żadnego problemu ze sterownikami na Win11. Ale może z Teslą jest inaczej.
  • Odpowiedz
FLAC
  • 0
@kwanty: ja się do linuksa zraziłem po tym jak każdy upgrade oficjalnych sterowników nvidii kończył się czarnym ekranem po reboocie xD
Dzięki, ale wolę windowsa. Jak coś nie działa bo jest napisane pod linuksa to owinę to w obraz dockera i też da radę odpalić.

Miałem sporo podejść na linuksie, ale już wysiadłem całkowicie przy tym jak chciałem zainstalować serwer plexa. Na widnowsie 5 minut, na linuksie każda pierdoła to
  • Odpowiedz
FLAC
  • 1
nsfw
Treść nieodpowiednia do przeglądania w pracy lub miejscu publicznym...
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
_Alessandro_
  • 18
Możesz wyjść do baru, knajpy, klubu, czy na kurs tańca. Zobaczysz to co zawsze, habitat jest zachowany. Będzie więcej wysokich ludzi, więcej symetrycznych twarzy, a w powietrzu unosi się więcej pewności siebie. Dlaczego?
Od dzieciństwa uśmiech od nauczycieli, uśmiech w grupie rówieśniczej, pierwsze randki wcześniej niż inni. Wchodzisz jedno spojrzenie na wszystkie twarze i widzisz, że wszystko się zgadza i ludzie są w takim miejscu w którym powinni być. Dobre geny prowadzą
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
xxwykopekxxxx
xxwykopekxxxx
  • 6
#zwiazki #gospodarka #tinder Głównym problemem niskiej dzietności jest brak związków. Obecne polki celują w TOP 10% najatrakcyjniejszych mężczyzn.
Kobiety na aplikacjach randkowych odrzucają mężczyzn głównie ze względu na wygląd i wzrost. Jak już nawet dojdzie do spotkania to gdy dowiadują się, że chłopak w wieku 25 lat nie ma jeszcze własnego mieszkania to już do drugiej randki nie dochodzi.
Kobiety w ostatnich czasach nie stały się wyjątkowe, mądre
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
  • 1
@xxwykopekxxxx: jak kobieta wyrwie chada to z najwiekszej feministki zmieni się w matke polke z 5 dzieci. Tylko tym <10/10 nie chcą rodzć dzieci bo liczą że złapią lepsza partię
  • Odpowiedz
FLAC
  • 2
Będzie to konkurencja dla TSMC, Samsunga i Intela.


@EkspertEverything: ciężko w to uwierzyć, bo to będzie produkcja pewnie 100% na potrzeby tesli, a tsmc, smamsung i reszta i tak sprzeda wszystko co wyprodukuje dla pozostałych firm AI więc nie wpłynie to na ceny.
  • Odpowiedz
FLAC
  • 7
@Cyberdyne: największy problem będzie pewnie z dostaniem maszyn EUV ASML. To nie jest coś co da się zacząć produkować nagle w 3x większej ilości a składanie jednej maszyny też trochę trwa. A wątpię żeby chcieli produkować w czymś innym niż bleeding edge procesie.
  • Odpowiedz
  • Hej FLAC, może napiszesz coś o sobie i uzupełnisz dane w profilu?
  • /dev/null

Osiągnięcia