Wszystko

Najnowsze

Archiwum

Tu-mleko
  • 3
O ja j---e... Gadam sobie z ChatGPT o p--------h, zadaję mu pytania o to czy wolałby walczyc z jednym koniem wielkości kaczki i tym podobne głupoty, w końcu go pytam czy dżdżownice mają poczucie humoru. A ten mi odpowiada, że tak. ALE GŁĘBOKO ZAKORZENIONE xD
Ta technologia mnie serio zadziwia.
#ai #chatgpt
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
b.....k
b.....k
  • 1
Hej, stawiam dopiero pierwsze kroki z AI. Mam sobie dwa modele LLM, jeden 8B q80, drugi 12B q80. Oba wchodzą całe do vram.
Dlaczego podczas inferencji pierwszy używa więcej mocy (150W), a drugi mniej (max 80W)?

#ai #chatgpt #openai
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
b.....k
b.....k
  • 0
@Nieszkodnik: dobra, dzięki :P już znalazłem, chodziło o parametr który podaje ile "transformer layers" ładuje się do VRAM. wpisałem 33, ale tyle ma model 8B... przy 12B który ma ich 40 reszta szła na cpu..
  • Odpowiedz

Powiązane tagi