Treść przeznaczona dla osób powyżej 18 roku życia...
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hej, stawiam dopiero pierwsze kroki z AI. Mam sobie dwa modele LLM, jeden 8B q80, drugi 12B q80. Oba wchodzą całe do vram.
Dlaczego podczas inferencji pierwszy używa więcej mocy (150W), a drugi mniej (max 80W)?

#ai #chatgpt #openai
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Nieszkodnik: dobra, dzięki :P już znalazłem, chodziło o parametr który podaje ile "transformer layers" ładuje się do VRAM. wpisałem 33, ale tyle ma model 8B... przy 12B który ma ich 40 reszta szła na cpu..
  • Odpowiedz
#programowanie #programista15k #openai
https://github.com/openai/codex
"Codex CLI is built for developers who already live in the terminal and want ChatGPT‑level reasoning plus the power to actually run code, manipulate files, and iterate – all under version control. In short, it’s chat‑driven development that understands and executes your repo."

dobra wyjde na ignoranta ale w bani mi sie nie mieści, że ludziez własnej woli są w stanie pracować
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

dobra wyjde na ignoranta ale w bani mi sie nie mieści, że ludziez własnej woli są w stanie pracować nad edycją wielu plików w Terminalu

Dlaczego robicie sobie taką krzywdę ?


@grand_khavatari: niektórzy lubią dalej korzystać w vima albo emacsa, jak się nauczysz dobrze tym posługiwać to można naprawdę szybko programować i edytować pliki. Wejdź sobie na kanał ThePrimeagen i zobacz jak on używa vima. W robocie spotkałem jednego podobnego
  • Odpowiedz
@grand_khavatari: @tubkas12 Miałem takiego kolegę który klepał w vimie makefile, schemy jsonowe, yamle od k8s itp z głowy i bez zająknięcia. Kiedyś miałem z nim calla i zapomniałem sobie edytor choćby na nano zmienić. Czułem się jak debil bo mówił coś w stylu "teraz wciśnij ctrl + trzy razy c" i nie działało mi to xD vim is beyond moi drodzy!
  • Odpowiedz
@mirko_anonim:

Nie chcę korzystać z tłumacza, ponieważ często błędnie tłumaczy, nie uwzględnia kontekstu i ogólnie nie jest dokładny.

Twoim zdaniem dowolny model językowy jest lepszy od dobrego tłumaczenia automatycznego? A jak myślisz, jak działają te tłumacze?
DeepL jest super, a jak koniecznie chcesz LLM, to jeśli masz dobrą kartę graficzną, to uruchomisz sobie DeepSeeka bez cenzury.
  • Odpowiedz
Potrzebuje alternatywy dla chataGPT. Mam teksty na stronie, w htmlu, z dużą ilością tabel i treści. Korzystając z GPT (czy to przez stronę czy poprzez API) chat uwala mi połowę tabel (skraca je sobie jak mu wygodnie) mimo, że nie przekraczam liczby znaków dostępnych dla danego modelu. Próbowałem żonglować modelami, ale każdy coś spieprzył. Gemini też na 3 tabele po przeróbce zostawiło mi dwie...
Jakieś alternatywy, modele polecacie do dłuższych tekstów? Potrzebuje
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach