mathmed
  • 1
Wnioski dla chętnych na budżetowe buildy komputerów pod AI nie naprawiają optymizmem.
Po powstaniu architektury MoE, w miarę jak pojawiają się lepsze modele lokalne i rośnie utylizacja pamięci RAM przy zachowaniu prędkości działania modelu, rośnie też niestety presja cenowa nie tylko na GPU ale także na pamięć operacyjną (w tym starsze DDR4) i pamięć masową. Czyżby to nie był koniec wzrostów cen?

#pcmasterrace #sztucznainteligencja #ai #
  • 6
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
mathmed via Android
  • 0
@majk3l: Właśnie czytałem, że ostatnio w 3mc +25%. Nie widzę też tych obniżek na portalach aukcyjnych. Niedawno brałem 16Gb za 150-170zł, teraz najniższa oferta 195...
  • Odpowiedz
mathmed
  • 1
Zastanawiam się, czy mogę zamontować kartę graficzną bez wyjść wideo do komputera i użyć przejściówki USB->HDMI, żeby uzyskać obraz na monitorze?
Mam z440 HP i 2xTesla P100 - umożliwia to w teorii 32GB VRAM i szybką pamięć HBM2 w cenie <1000zł. Ale karty te nie mają wyjść wideo, a nie chce mi się kombinować z riserami / nacinaniem slotów PCIE x4/8, żeby zamontować inną lekką kartę jako trzecią w tym systemie. Stąd
mathmed - Zastanawiam się, czy mogę zamontować kartę graficzną bez wyjść wideo do kom...

źródło: 2888-front-large

Pobierz
  • 50
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 1
@Zgrywajac_twardziela: Są jeszcze karty USB->HDMI DisplayLink:

DisplayLink to technologia firmy Synaptics, która umożliwia podłączenie zewnętrznych monitorów do komputera (PC, Mac, Android) za pośrednictwem portu USB (A lub C). Działa dzięki oprogramowaniu (sterownikom) i chipsetowi, wirtualizując kartę graficzną, co pozwala na łatwą obsługę wielu ekranów. Jest to idealne rozwiązanie do stacji dokujących i adapterów wideo, szczególnie gdy komputer ma ograniczoną liczbę natywnych wyjść wideo.

Ale te są trochę droższe. Można też
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@JamesJoyce: Niestety jak obsadzę długie sloty PCIE przez p100 zostaną krótsze, z czego najdłuższy jest x8. Może faktycznie kupię low profile z elastycznym riserem x8 i będę miał nadzieję, że to zadziała.
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@hrumque: Kupiłem Nvidia Quadro P400 2 GB low profile do portu X4/8 (moc karty do 30W, moc portu zgodnie ze specyfikacją 25W). Okazuje się, że slot jest przelotowy i da się bez kłopotu zamontować.
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@majk3l: Ma chłodzenie, widzisz tam są wydrukowane kształtki i puszczona pionowo rura, która zapewnia przepływ powietrza przedmuchiwanego przez jedną dużą turbinę położoną wyżej. Więc jedna turbina dmucha przez obie karty chłodząc je.
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@majk3l: Mam widżet od Afterburner w trayu - mam moc karty i temperatury. W stresie maksymalnie 53*C, dolna karta ma 4*C mniej. Powinienem podzielić mechanicznie strugę powietrza generowaną przez turbinę, a górna kształtka jest całkiem przelotowa. Będę redukował obroty turbiny, bo jest za głośno. Spróbuję skalibrować dla 70*C pod obciążeniem.
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@JamesJoyce: Wiesz co, patrzyłem jeszcze na te temperatury i zauważyłem, że różnica ta jest już od uruchomienia kompa (na zimno). Zakładam ostatecznie, że raczej kwestia pomiarowa.
Zamontowałem oba serwery na miejscu docelowym, żeby moja kobitka mnie nie zabiła, że zaśmiecam chałupę.
mathmed - @JamesJoyce: Wiesz co, patrzyłem jeszcze na te temperatury i zauważyłem, że...

źródło: 20980

Pobierz
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@JamesJoyce: Dzięki, chciałem to jakoś zmieścić, a poprzednio wykorzystałem wentylatory 2x40mm i nie podoba mi się dźwięk ich pracy. Całość pasowała też bardzo na styk do tej obudowy i poszedłem w inne rozwiązanie.
Moje gratulacje, to już poważny kawałek sprzętu, w jakiej dziedzinie będziesz stosować ten hardware?
PS. Żałuję, że w tagu jest mało poważnych wątków, sporo śmieci zniechęca do przeglądania. Szkoda, że umarła idea for tematycznych.
  • Odpowiedz
mathmed
  • 1
@Abc123cba123: Wiesz co, na laptopie mam 8GB VRAM i uruchamiam tam mocno skwantowany QWEN3.6-35b-a3b, ale widać różnicę względem 32GB VRAM. Ile masz RAM? Część modelu pójdzie do RAM i powinno to gadać, ale wolniej. Małe modele są dużo słabsze. Chyba bym nie sprzedawał tego Radeona, możesz na nim już teraz uruchomić modele - VULKAN to ogarnia.

Dołożenie P100 do slotu x4 jest możliwe jeśli zasilacz sobie poradzi, ale będzie ciężko
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@Abc123cba123: To bym spróbował jakiś model MoE pod LM Studio w Windows - gemma 4 26b a4b lub QWEN3.6-35b-a3b., ściągnij któryś niższy 4 kwant. Musisz poeksperymentować z ustawieniami, ale coś takiego aż się załaduje. Będzie się crashować, obserwuj użycie RAM I VRAM w Task Mgr Windows. Zacznij suwakiem na dole dużo warstw w RAM i schodz w dół obserwując stabilność i prędkość generowania ( w lm studio w chat "
mathmed - @Abc123cba123: To bym spróbował jakiś model MoE pod LM Studio w Windows - g...

źródło: 23131

Pobierz
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@JamesJoyce: @majk3l @Zgrywajac_twardziela

Tensor parallelism w lm studio podbiło generowanie o połowę. Gęste modele po około 20-23Gb hulają pomiędzy 16 a 20tok/s.
Prefill niestety takiego zysku nie odniósł i mam 200-250tok/s.
Chyba pora spróbować 2xV100 od chińczyka. Stoi po koło 2400zł/kartę plus cło...
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@JamesJoyce @kwanty @majk3l @hrumque

Panowie, Strata to nie bujda - to działa imponująco dobrze.
Model 84GB MoE Qwen3.8 Flash Next IQ3_S, 256k kontekstu 8bit z enkoderem wizyjnym.
Mam Xeon V3, DDR4, Tesla P100X2 i prędkości zarówno prefill jak i generowanie są niemal za dobre, żeby były prawdziwe.
  • Odpowiedz
mathmed
mathmed via Android
  • 1
Jasne, to jest silnik inferencji i ma fajną cechę:

"In MoE models like Qwen 125B, only 2-8 out of 64 experts fire per token. Strata predicts which expert layers will be called 1-2 tokens in advance, queuing them for instant DMA PCIe transfer."

Zapewnia dobre prędkości przy dużych modelach MoE. Qwen ma ważną zaletę - utrzymuje jakość przy dość mocnej kwantyzacji.

https://stratallm.org/
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@kwanty: Do takich zadań któryś MoE od Qwen np. 3.6-35b-a3b powinien sobie poradzić bardzo dobrze. Ale oczywiście 3.8 flash next będzie lepszy (niestety jego wielkość jest pewną wadą).
Jeśli jednak będziesz też używać do research, wnioskowania, kodowania to chyba bym został przy tym i spróbował rozwiązać problem z kontekstem (a może on sam lub któryś z serwerowych LLM pomoże Ci to pokonać).
3.8-27b też jest super, choć u mnie do
  • Odpowiedz
mathmed
  • 7
Strata to nie bujda - to działa imponująco dobrze.
Model 84GB MoE Qwen3.8 Flash Next IQ3_S, 256k kontekstu 8bit z enkoderem wizyjnym.
Mam Xeon V3, DDR4, Tesla P100X2 i prędkości zarówno prefill jak i generowanie są niemal za dobre, żeby były prawdziwe.
Można spokojnie złożyć sobie poważny serwer sztucznej inteligencji w kwocie 2000-2500zł.

#sztucznainteligencja #informatyka #komputery #pcmasterrace
mathmed - Strata to nie bujda - to działa imponująco dobrze. Model 84GB MoE Qwen3.8 ...

źródło: 37959

Pobierz
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 1
Słuchajcie Mirki - chciałbym w jakiś sensowny sposób przeskoczyć problem związany z ongridową instalacją FV bez modyfikacji jej - głównie chodzi mi o zrównoważenie nocnego poboru energii własnej domu (około 500W).

Potencjalny pomysł bierze pod uwagę akumulator LiFEPO4 o pojemności około 5kWh i jego ładowanie za dnia jak mam nadwyżki oraz wprowadzanie energii do sieci w nocy w ilości równoważącej zużycie.
Mikroinwerter mógłby być rozwiązaniem - nie wie on bowiem, że jest
mathmed - Słuchajcie Mirki - chciałbym w jakiś sensowny sposób przeskoczyć problem zw...

źródło: BMD-600-1

Pobierz
  • 24
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
mathmed via Android
  • 0
@kwanty: Ale mikroinwerter ma mieć wejście podłączone do akumulatora - zamiast panelu. A oddaje do sieci - balansowanie międzyfazowe.
Ładowanie aku z ładowarki 48V constant current. Tak to planowałem.
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@kwanty: Można ładować CC, ja mam ładowarkę też z regulacją napięcia na dwóch precyzyjnych wieloobrotowych potencjometrach, BMS odetnie ładowanie jak któreś z ogniw osiągnie założony max (można ustawić w aplikacji albo użyć ustawień default). Te nowe BMS mają też balanser, z reguły robi się top-balans.
Można tak jak pisałeś z tą przetwornicą, ale kusi mnie mikroinwerter. Myślałem o podłączeniu w szereg elementu NTC - zaczyna działać przez kilka ohm, a
  • Odpowiedz
mathmed
  • 2
@kwanty: @Jarek_P Uruchomiłem - działa w sposób spodziewany; pobiera około 500W, oddaje pewnie nieco mniej - mówią o skuteczności około 95%, czyli rozprasza się na obudowie około 25W. W teorii... W pomiarze około 40W. Zastanawia mnie dość wysoka temperatura przedniej ścianki mikroinwertera - sięgająca 55*C (gorąca w dotyku, ale do utrzymania ręką). Ciekawe, czy 'szkodzi mu' źródło o niskiej rezystancji wewnętrznej i dużej wydajności prądowej.
Załączam screeny
mathmed - @kwanty: @Jarek_P Uruchomiłem - działa w sposób spodziewany; pobiera około ...

źródło: FLIR1000089

Pobierz
  • Odpowiedz
mathmed
  • 0
@kwanty Wizualizacja jest z home assistant
mam automatyzację
-> czujnik oświetlenia <10lx => włącz wtyczkę rozładowania i wyłącz wtyczkę ładowania
-> czujnik oświetlenia > 450lx => włącz wtyczkę ładowania i wyłącz wtyczkę rozładowania
  • Odpowiedz
mathmed
  • 0
@kwanty Tak, muszę przewertować dokumentację. Generalnie LLM odradził mi tą konfigurację ze względu na niedostosowanie urządzenia do baterii (niska oporność wejściowa).
Kamerka to 'stary' FLIR TG267. Ale lepsze są teraz chińskie modele po 400zł :-)
  • Odpowiedz
mathmed
  • 1
@kwanty Mam sieć Zigbee i znalazłem taki sensor na Aliexpress (Tuya Zigbee light sensor). Prostopadłościan zasilany z AAA z oczkiem przez które widać odsłonięte PCB z sensorem oświetlenia. Teraz zakupy z Ali niestety są dużo mniej opłacalne, a od listopada staną się zupełnie nieopłacalne - wchodzi nowa opłata.
  • Odpowiedz
mathmed
  • 0
Tak to prawda, nie wiadomo czy to tak powinno być (choć straty nie są znów tak olbrzymie, a pewnie kompensowane warunkami domowymi - temperatura tła w okolicy 22-25*C). Z zasilaczem impulsowym CC na wejściu mikroinwerter działał bardzo dziwnie - wywoływał głośną modulowaną pracę zasilacza. Szkoda, że nie można wyłączyć MPPT w interfejsie webowym.
PS. Dziwny ten 'nowy' mirko..
  • Odpowiedz
majes_mjs
  • 0
Wczoraj na miejscowej imprezie uderzyłem w boksera i nie trafiłem. Poszło trochę obok i bardziej w plastikowa osłonę.
Troche napuchło w pewnym miejscu na dłoni.

Nie bardzo mogłem wyprostować wszystkie palce u dłoni. Dziś pojechałem na sor. Zrobili mi rtg dłoni. Wyszło złamanie podgłowowe IV kości śródręcza prawego.

Nic nie nastawiali. W-----i mi to wszystko w gips, cała dłoń do połowy łokcia. Pół ręki w gipsie, jeszcze kazali nosić jakąś szmatę co
  • 14
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
dreadingit
dreadingit
  • 0
Firmy ai wykupują stare książki żeby skopiować więcej danych do nauczania swoich modeli, gdyż "internet wypełnił się ai slopem".

Kiedy cala dostępna ludzka wiedza zostanie wyssana do baz danych służących uczeniu sztucznej inteligencji, na ziemi nie pozostanie nic co mogłoby rozszerzyć wiedzę ai.

Może wtedy ktoś wpadnie nw pomysł by wysłać sondę w przestrzeń kosmiczną, żeby zbierała tam wiedzę do dalszej nauki ai i dla "poszerzania horyzontów wiedzy ludzkości".

I
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 1
@dreadingit: Posłuchaj wywiadów z Jensenem Huangiem. Ja szczegółów nie znam, ale on opowiadał, że była obawa przed takim ograniczeniem rozwoju modeli - koniec treści oryginalnych. Skwitował, że coraz większy odsetek bazy treningowej stanowią dane syntetyczne.
  • Odpowiedz
  • Hobbystycznie programista, elektronik, miłośnik harmonii natury i techniki.
  • Łódź
  • wykop.pl

Osiągnięcia