@BabblingBook: Hasło zmieniłem, ale zalogować się nie mogę - "podjęto zbyt wiele nieudanych prób odpowiedzi na pytania zabezpieczające; spróbuj później"

@kondor_20_zglos_sie: Nie przejęli konta, wiadomości się urwały. Czasem zdarzy się jeszcze pojedyncza tego typu. Ale Mac praktycznie nie używam. Jakoś nie mogę się przekonać.

@Zgrywajac_twardziela: Są jeszcze karty USB->HDMI DisplayLink:

DisplayLink to technologia firmy Synaptics, która umożliwia podłączenie zewnętrznych monitorów do komputera (PC, Mac, Android) za pośrednictwem portu USB (A lub C). Działa dzięki oprogramowaniu (sterownikom) i chipsetowi, wirtualizując kartę graficzną, co pozwala na łatwą obsługę wielu ekranów. Jest to idealne rozwiązanie do stacji dokujących i adapterów wideo, szczególnie gdy komputer ma ograniczoną liczbę natywnych wyjść wideo.

Ale te są trochę droższe. Można teżPokaż całość

@majk3l: Niestety nie mam - Xeon bez integry...

@JamesJoyce: Niestety jak obsadzę długie sloty PCIE przez p100 zostaną krótsze, z czego najdłuższy jest x8. Może faktycznie kupię low profile z elastycznym riserem x8 i będę miał nadzieję, że to zadziała.

@hrumque: Kupiłem Nvidia Quadro P400 2 GB low profile do portu X4/8 (moc karty do 30W, moc portu zgodnie ze specyfikacją 25W). Okazuje się, że slot jest przelotowy i da się bez kłopotu zamontować.

@hrumque: Taki komp (drugi).

@Zgrywajac_twardziela: @majk3l @hrumque

Pijcie ze mną kompot. Działa to.

@Zgrywajac_twardziela: @majk3l @hrumque

Podsumowanie kosztów - komputer 700zł, karty 1100zł. Łącznie zapłaciłem 1800zł i mogę uruchamiać sporo rzeczy. Średnie modele (po 20-25GB) działają bardzo dobrze.

@majk3l: Ma chłodzenie, widzisz tam są wydrukowane kształtki i puszczona pionowo rura, która zapewnia przepływ powietrza przedmuchiwanego przez jedną dużą turbinę położoną wyżej. Więc jedna turbina dmucha przez obie karty chłodząc je.

@majk3l w ten sposób

@JamesJoyce: Zapomniałem Cię zawołać. Zrobiłem tak jak wyżej.

@majk3l: Mam widżet od Afterburner w trayu - mam moc karty i temperatury. W stresie maksymalnie 53*C, dolna karta ma 4*C mniej. Powinienem podzielić mechanicznie strugę powietrza generowaną przez turbinę, a górna kształtka jest całkiem przelotowa. Będę redukował obroty turbiny, bo jest za głośno. Spróbuję skalibrować dla 70*C pod obciążeniem.

@JamesJoyce: Wiesz co, patrzyłem jeszcze na te temperatury i zauważyłem, że różnica ta jest już od uruchomienia kompa (na zimno). Zakładam ostatecznie, że raczej kwestia pomiarowa.
Zamontowałem oba serwery na miejscu docelowym, żeby moja kobitka mnie nie zabiła, że zaśmiecam chałupę.

@JamesJoyce: Tam jest jedna wspólna rura z dużego blowera i kształtki zamontowane na każdej z kart. Przelotowa...

@JamesJoyce: i nieprzelotowa (terminalna). Rura ma 38mm

@JamesJoyce: i undervoltowany blower.

@JamesJoyce: Dla blowera mam taką kształtkę. Całość jest akustycznie akceptowalna.

@JamesJoyce: Dzięki, chciałem to jakoś zmieścić, a poprzednio wykorzystałem wentylatory 2x40mm i nie podoba mi się dźwięk ich pracy. Całość pasowała też bardzo na styk do tej obudowy i poszedłem w inne rozwiązanie.
Moje gratulacje, to już poważny kawałek sprzętu, w jakiej dziedzinie będziesz stosować ten hardware?
PS. Żałuję, że w tagu jest mało poważnych wątków, sporo śmieci zniechęca do przeglądania. Szkoda, że umarła idea for tematycznych.

@krzysztof-mirko: @SonidoStark @PinezkaSwiata GPT OSS 20B (15T/S), GEMMA 4-A4B (23T/S), Qwen3.5-9B(14T/S), Qwen3.6-35b-A3B(11T/S) - 3Q.

@PinezkaSwiata: Dziś mam chwilę to złożyłem projekt przypomnień w kalendarzu na HTML+JS we frontend i PHP w backend.
Jak jest moment i akurat nie ma Pacjenta.

Śmiga trochę wolniej, niż bym chciał i uczę się planować robotę modelowi (drugi mój post na Mirko). Ciężko podzielić to tak, żeby zachować efektywność na etapie całości tworzenia a nie tylko na początku.
Trzeba tworzyć sporo dokumentacji w trakcie i ją utrzymywać up toPokaż całość

@PinezkaSwiata:

@roman-jarzyna: Domyślam się, że to trudne zadanie. Ale fajnie by było stosować zasady umozliwiające pchanie tego wózka jak najdłużej...

@JamesJoyce: Zastanawiam się jak rozplanować prace nad projektem z pomocą modelu, tak aby oddelegować na niego najwięcej pracy bez szkody dla jakości.

@kwanty: Aukcja ta:
https://www.ebay.pl/itm/166426682796

https://images.nvidia.com/content/tesla/pdf/nvidia-tesla-p100-PCIe-datasheet.pdf

Mam nadzieję na poprawę sytuacji w przyszłości, ostrzę sobie zęby na tego Sparka (lub analogiczne konstrukcje ze 128gb z opcją łączenia w klaster).

@kwanty: Zdaję sobie sprawę, że tam nie ma rdzeni Tensor, są tylko CUDA. Ale karty nowsze to trochę kosmos cenowo.

@majk3l: W inferencji procesory 35W (wielordzeniowe) mogą mieć podobne osiągi co ten komputer? Mam łapka z 4060 i 32Gb DDR5 ram, muszę dziś go odpalić i zobaczyć jakie ma osiągi. Wydaje mi się, z tego co pamiętam, że sporo słabsze.
Chciałbym też usiąść do uczenia i sprawdzić czy da się wykorzystać potencjał tej pamięci HBM2. Wysłałem sobie dwa linki, ale jeszcze nie odwiedziłem.Pokaż całość

@majk3l: @kwanty @quzo82
Czas na wyniki testów, porównanie zrobiłem między kompem wyżej a laptopem z i7-12650H, 32GB DDR5, RTX 4060 8GB VRAM.

1. MODEL QWEN3.5-35b-a3b:
Serwer 17 tokenów/s laptop 7 tokenów/sPokaż całość

@kwanty: @FLAC Nie wytrzymałem oczywiście i kupiłem sobie RTX 3060 12GB. Od razu po instalacji problemy - zainstalowanie sterowników RTX rozwalało sterowniki od Tesli i vice versa. Dopiero zainstalowanie sterownika Tesli od nVidii i kliknięcie aktualizacji sterownika Podstawowego Adaptera Graficznego przez Windows Update umożliwiło współdziałanie obu kart na W10. A i tak P100 nie może przejść w tryb WDDM (zmiana parametru AdapterType w regedit dawało wykrzyknik przy sterowniku karty).Pokaż całość

@kwanty: Obiecywałem sobie to już z 15 lat i jakoś zawsze mnie odstrasza. Na Win. czuję się bardziej komfortowo - u mnie to kwestia przyzwyczajenia. Myślę, że na Linux nie miałbym części tych problemów co na Win, ale te, które bym miał pewnie by się okazały dla mnie nie do pokonania.

@FLAC: @kwanty Ostatnio próbowałem majstrować z dostępem modelu do sieci, no więc chyba odkryłem odpowiednie rozwiązanie - AnythingLLM. "Po prostu działa"

@kwanty: Dopiero zacząłem używać tej aplikacji, ale daje dostęp LLM (w roli agenta) do przeglądarki i w przeciwieństwie do innych rozwiązań nie trzeba ściągać 100 rozszerzeń bibliotek pythona gdzie po drodze coś się zawsze wywali. Instaluję i działa, a to już dużo.

Przepraszam, ale ostatnie moje próby używania aplikacji w python, npm itp. kończyły się smutno.
w pewnym momencie procesu instalacyjnego "error" - przykład unsloth studio - "error cmake setup".Pokaż całość

@FLAC: Ten zrzut ekranu idealnie określa moje odczucia. Tak, ja się łączę z serwerem lokalnego LM Studio, akurat nie musi być na tej samej maszynie - tym razem jest (siedzę na dyżurze w szpitalu).

Bardzo informatywne wideo.Pokaż całość

@kwanty: @FLAC Teraz widzę, że ta apka ma skillbuilder dla LLM w UI. Też wydaje się to ciekawe i dość potężne narzędzie.
Nic czego nie da się zrobić, ale już jest. Dostęp Agent Skills -> Agent Flows.

@acidd: Pytałem lokalnego modelu, może napisać skrypt np. w python i dostanie taki dostęp. Mógłbym też sam wymodzić takie coś w PHP przez wamp/local ale pomyślałem, że skoro to tak proste - pewnie są gotowe, darmowe narzędzia. Możliwe, że dostęp byłby szerszy przez dostęp do ekranu / zrzutów ekranu / debuggera przeglądarki itp...

@Raffael: Dla potomności, narzędzie, którego prawdopodobnie chcecie po prostu używać na Windows to AnythingLLM.