Jak rozumiem aktualnymi AI które można odpalić lokalnie są Grok i Deepseek. Z tego co wiem to Deepseek jest możliwy do pobrania w kilku wersjach w jakiejś tam turbo okrojonej kilku GB, kilkadziesiąt GB oraz pełny model chyba 400GB? Nie wiem jak z Grokiem?
Na czym to idzie odpalić, to ogólnie działa tak, że jeżeli na rtx4080 odpali się model kilka GB i kilkaset GB to większy będzie dawał dłużej odpowiedzi (ale
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@interpenetrate: może za 10 lat by móc na komputerze do gierek uruchomić aktualny model na poziomie chatgpt4? z tym że wtedy chatboty ai w chmurze będą masakrowały lokalny twór więc znowu nie będzie miało to sensu.
  • Odpowiedz
@RychuiPeja: no dobra ale co z takim deepseekiem w okrojonej wersji? 14B da się przecież odpalić na domowej karcie średniego dzisiaj kalibru 16GB pamięci.
Nie wiem na ile odpowiedzi będą wyrafinowane jak przy pełnym 671B modelu.

Ale, nie można tego VRAM przydzielać, zabierając pamięć dysku twardego i pomagając GPU?
Powiedzmy 70B model, ma zapotrzebowanie 48GB, no i niech 1/3 bierze z karty a resztę używając dysku SSD? W laptopach Apple
interpenetrate - @RychuiPeja: no dobra ale co z takim deepseekiem w okrojonej wersji?...
  • Odpowiedz
Treść przeznaczona dla osób powyżej 18 roku życia...
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#pcmasterrace #xkom #sztucznainteligencja #deepseek

W sumie ciekawe, że można kupić w sklepie typowo zestaw pod odpalenie sobie takiego modelu. Wiadomo, że te części możnaby sobie kupić osobno, ale wystawianie takiego zestawu w sklepie jest dosyć osobliwe. Pewnie też trochę w formie jakiegoś marketing stuntu, niemniej ciekawe
Need - #pcmasterrace #xkom #sztucznainteligencja #deepseek

W sumie ciekawe, że można...

źródło: image

Pobierz
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Need: Są normalnie serwery dedykowane pod AI które możesz sobie wynająć w chmurze albo kupić i postawić w kompie. Nikt nikomu nie zabrania stawiania swojego serwera i faszerowania go do woli danymi.
  • Odpowiedz
Może i #deepseek cenzuruje chińskie zbrodnie, ale za to nie umie programować.
#chatgpt wciąż górą. No dobra, taką bardziej górką i to łonową, ale wciąż lepszy.
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach