[once-ler]

Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić wpis i zastanawiam się, czy nie pobiłem jakiegoś rekordu.


Na początku bardzo lubię bawić się w odpalanie modeli językowych #ai lokalnie. Głównie dla zabawy, ale czasami pomagają mi one w pracy.
Bardzo się zajarałem jak zobaczyłem że #deepseek jest opensource i że można go pobrać. Szanuję swój główny sprzęt (już nie pierwszej nowości) na, tyle że zazwyczaj do zabaw wykorzystuję starego laptopa, który absolutnie wystarcza mi do pracy mobilnie oraz do przemieszczania się - Asus N55S z i7-2630QM na pokładzie, 8GB ramu - dla mnie to takie klawiaturowe #jeszczedobry - chyba nie potrzebuję do pracy nic więcej, bo wszystko tam po prostu działa i to w miarę szybko łącznie z baterią, którą regeneruję co x lat.
Plan był prosty - skoro uproszczone #llama i #stablediffusion działało to czemu DeepSeek miałby nie działać xd
AKT 1: Pamięć masowa
DeepSeek v3 zajmuje około 400gb miejsca - pobrałem Ollama (https://ollama.com/) a następnie zacząłem zaciągać "ollama run deepseek-v3" dokładnie to. Problem jaki się pojawił to brak miejsca na dysku c: - tutaj remedium jest w miarę proste — trzeba ollame zmusić, żeby zaciągał pliki w konkretne miejsce - "Właściwości systemu">"Zmienne środowiskowe..."> i zarówno dla systemu jak i użytkownika dodajemy po rekordzie "OLLAMA_MODELS" z lokalizacją na docelowe miejsce na dysku.
AKT 2: RAM
Po pobraniu 400gb model zaczął się ładować względnie normalnie ale przywitał mnie błędem "Error: model requires more system memory (462.2 GiB) than is avaible (47.4 GiB)" - xd
Szybko powstał nowy plan - włożyć do laptopa jakąś kartę SD od samsunga (512gb) która się kurzyła od x lat na półce, przenieść tam pliki modelu, a następnie przypisać na zaoszczędzonym miejscu plik stronicowany.
Pliki kopiowały się wolniej niż się pobierały - około 6h zapis na karcie był około 17mb/s (pobieranie 80mb/s xd) na tym etapie trzeba znowu było zmienić zmienne środowiskowo z lokalizacją na kartę SD ale to była raczej formalność. Około godziny 16 dnia 29 stycznia pliki skończyły się kopiować więc tak jak postanowiłem przypisałem prawie całe wolne miejsce na plik stronicowany i ponownie uruchomiłem model.
AKT 3: Czas
Model skończył się wczytywać około godziny 22 więc oczywiście pierwszym promptem był "Plac Tiananmen 1989" xd Około godziny 1 w nocy poszedłem spać z nadal mielącym się modelem.
Wstałem rano i o dziwno... DZIAŁA... bardzo bardzo bardzo wolno ale działa. Nie wydaje mi się że ktoś może być na tyle głupi żeby odpalać model językowy z karty SD na 13 letnim laptopie więc... jestem tu.

Informacyjnie, procek śpi, ram się grzeje, dysk SSD prawdopodobnie dzwoni po śmieciarkę ale działa. Wiem że nie zrobiłem nic co kwalifikowało by mnie jako #programista15k ale jest jakaś taka satysfakcja bo było parę problem. Dlaczego zmarnowałem 24h życia? Nie wiem - bo to fajne i śmieszne ( ͡° ͜ʖ ͡°)

PS: Odpowiedź nadal się generuje ale daję screena
PPS: Wiem że dysk zdycha
PPPS: Wiem że to nie ma sensu i jest głupie

#programowanie #ai #ollama #llama #openai #opensource #deepseek #windows #glupiewykopowezabawy

[once-ler]

@once-ler:

[tomilipin]

@once-ler

kwalifikowało by

kwalifikowałoby

[Bejro]

@once-ler: jakie TPS wariacie?

[SzubiDubiDu]

@once-ler: ja próbowałem odpalić stable diffusion ale oczywiście amd nie lubi takich zabaw więc pcha wszystko przez procesor i najprostrzy prompt na 512x512 px to 10 minut czekania, bardziej skomplikowany to 3 godziny xD