[awres]

Możliwości HP Z2 Mini G1A wyposażonego w procesor AMD Strix Halo do uruchamiania dużych modeli językowych (LLM). Kluczową cechą tej platformy jest zunifikowana architektura pamięci, która pozwala zintegrowanemu układowi graficznemu (iGPU) na dostęp do całej pamięci systemowej, w tym przypadku do 128 GB.

W filmie pokazano testy na modelach takich jak Qwen2 235B (235 mld parametrów) oraz GLM 4.5 Air (106 mld parametrów). Przy odpowiedniej konfiguracji Linuksa i sterowników (np. Vulkan RADV lub RocM), platforma jest w stanie obsłużyć takie obciążenia. Podkreślono, że dla optymalnej wydajności i stabilności istotny jest wybór odpowiedniego sterownika i konfiguracja j---a.

Pamięć jest wykorzystywana nie tylko do przechowywania wag modelu, ale także do buforów kontekstu, co umożliwia pracę z bardzo długimi dokumentami. Co ciekawe, wydajność tego rozwiązania jest porównywalna z platformami takimi jak Apple Mac Studio.

#ai #komputery #amd #linux #sztucznainteligencja

[Yelonek]

@awres: Fajna maszynka, ale tak z 15000 trzeba na nią wydać. Kto wie czy nie lepiej kupić sobie sprzęt z 2xRTX3060 i mieć 48GB RAMu, ale na Nvidii i z o wiele większą ilością tokenów na sekundę, a jeszcze potrenować coś sie da. Przy czym zużycie prądu też jest odpowiednie - zasilacz min. 1,5kW.
Patrzyłem jeszcze na GMKTec X2, bo kosztuje w okolicach 11000, ale to preorder i przyjdzie może

[awres]

@Yelonek: Ceny będą spadać. Czekam na odpowiedz ze strony intela.

[Yelonek]

@awres:

[Yelonek]

@awres: Dzisiaj Alex Ziskind, Level 1 Tech i Level 2 Jeff wypuścili filmy o Framework Desktop z tym procesorem.
Najlepszy IMO Level 1 Tech, a Level 2 Jeff pokazał, że klaster nie daje żadnych korzyści. Alex Ziskind taki live freestyle. Długo i nic się nie dzieje momentam.