DeepSeek R1 odpalony na gamingowym PC

Jeden mądry Mirek z reddita odpalił pełną wersją DeepSeek (po paru optymalizacjach) na RTX 4090 z 20GB ramu. To już mirkowy PC do "grania w grę". Ilośc tokenów to 2-3/sec ...więc nie powala, ale tyle potrafi generowac gpt4o zapchany w godzinach szczytu. To jest kamień milowy w redukcji kosztów AI.

[amilab]

1. Fascynujące. Piszę to bez krzty ironii.
2. Powszechniejszy dostęp do technologii zweryfikuje do czego jest naprawdę przydatna.

[EtaCarinae]

@amilab: wszystko wskazuje na to, że idzie to w kierunku asystentów jak z filmu Wehikuł czasu. Ludzie mogą być skłonni zapłacić za przyjaciela, który będzie inicjował rozmowy i pamiętał nasze życie.

[amilab]

@EtaCarinae: całkiem przydatna funkcja dla ludzi, którzy prowadzą na głos swój dialog wewnętrzny... Czytaj: marudzą pod nosem.

[ZionOfel]

o co chodzi tym? "c tokenów to 2-3/sec ?

[pawelzny]

@ZionOfel w dużym uproszczeniu możesz przyjac, że jeden token to jedna sylaba. To nie jest do końca prawda ale intuicyjnie tak to właśnie działa.

[Defined]

@ZionOfel: W większości to zależy jakiego tokenizera użyjesz. Tokeny to takie atomy na który dzielimy tekst, a następnie ten tekst z tych tokenów odtwarzamy. Często jeżeli chodzi o język angielski token = jedno słowo.
Np. OpenAI's to 3 tokeny - [Open, AI, 's]
https://platform.openai.com/tokenizer

[EtaCarinae]

Odpowiedni marketing i za kilka lat będzie lodówka, zmywarka i domowy Mainframe w cenie salonowego samochodu. Wreszcie nadganiamy filmy sci-fi.

[geronimo80]

@EtaCarinae eee już teraz możesz taki mainframe od nvidii zamówić ;) 2szt project digits za 6k USD. Za kilka lat to takie mainframe będą pewnie w coś rodzaju głośników echo wstawiane

[jaromaz]

To żadne osiągnięcie :) DeepSeek jest dostępny na ollama od tygodnia - a odpalenie go na karcie 8GB to 3 minuty (oczywiście im mniejsza wersja modelu, tym mniejsza przydatność). Link:
https://ollama.com/library/deepseek-r1

[sigillum]

@jaromaz: na cpu tez dziala ten z 7mld parametrow. Tu chodzi o wersje z 671mld parametrow. Ale on tez juz jest na ollama, no wlasnie dzieki ziomeczkowi ktory napisal na reddicie, bo zastosowal sprytna kwantyzacje roznych layerow.

[jaromaz]

@sigillum: tak, dlatego napisałem o mniejszej przydatności przy tych skwantyzowanych modelach, ale ciężko też czekać godzinę na pojedynczą odpowiedź przy DeepSeek odpalanym na CPU+tonach RAMu :)