Bawię się ostatnio llm odpalając je na swoim główynm kompie i działać to działa akceptowalnie do prostego czatowania, ale chciałbym się pobawić bardziej poważnie z lokalnym agentem i programowaniem. Jakie jest aktualne minimum sprzętowe aby móc odpalać z sensowną prędkością jakieś lokalne modele typu qwen coder.
Chciałbym sobie postawić sensownego lokalnego agenta, ale na razie widzę, że to minimum 10-15k w sprzęt aktualnie, a to nieco sporo jakna sprzęt głównie do zabawy
  • 16
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Wykop
  • 1
@Kot_nie_pies: Jestem typem człłowieka co woli przepłacić tysiące za sprzęt, poświęcić własny czas i zrobić coś gorzej i się nauczyć niż zapłacić połowę mniej za zrobienie tego lepiej :). Abonamenty mnie odrzucają, a słanie danych do chmury mnie nie bawi.
  • Odpowiedz
@makrofag74: większość tych stron nie kuma, że teraz modele są MoE i nie muszą się w pełni mieścić w vram. Przykładowo ta Gemma4 26b-a4b ma 26B parametrów łącznie, ale aktywne są tylko 4B. Jest opcja w LmStudio o nazwie 'Number of layers for which to force MoE layers into CPU' i tym sposobem część leci na CPU. Ostatecznie Na Rtx3060 12Gb ta Gemma lata >30tok/s (wersja quant Q4)
  • Odpowiedz
Treść przeznaczona dla osób powyżej 18 roku życia...
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@FLAC każdy błąd wrzucałem w Claude (kupiłem sobie natenczas subskrypcję pro) i skubaniec ponaprawiał mi wszyskie błędy :) -> im dalej w las, tym wiecej drzew - później tych błędów miałem coraz więcej :).
  • Odpowiedz
Wiem co bym chciał: Obowiązkowe (pod groźbą bana) oznaczanie kont i chociaż wiadomostki pisanych przez boty, i w YouTube (czy innej platformie).
Opcja, że np.: ja nie chcę dostawać wiadomości od bota ani mieć w polecanych filmów od bota, że taka blokada na to - nie chce mieć styczności bezpośredniej z botem.
Bo taki bot ci przyjcie, i coś bełkocze w odpowiedzi. I czemu ty masz się z tym użerać w miejscu
look997 - Wiem co bym chciał: Obowiązkowe (pod groźbą bana) oznaczanie kont i chociaż...

źródło: obraz

Pobierz
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • Doceń
  • 0
@sirgorn: Ja już napisałem, jeśli bot pisze w wartościowy sposób, to mi to nie przeszkadza, ale ten nie pisze...
Ja po prostu nie chcę w polecanych kanałów prowadzonych przez boty, chcę żeby nie istniały w moim internecie.

Oznaczenie byłoby po objawach, więc ludzkie słupy by nic nie dawały.
To da się rozpoznać, tylko po prostu nie wykorzystuje się tego w ten sposób.
  • Odpowiedz
Ale będzie beka jak lekkie modele open source lub tanie modele oparte na nich wygryzą OpenAI i Anthropic.

I tak będzie. Czemu?
1. Ich ogromne koszty działania. Przychody za tokeny/subskrypcje będą musiały się urealnić (w stosunku do ponoszonych kosztów). Na razie kombinują z limitami, priorytetowym przetwarzaniem, banowaniem za nadużycia, godziny szczytu itd. Ale to za mało. Podwyżki cen? Może tak, może nie. Kwestia akceptacji przez płacących.
2. Pojawiają się kolejne optymalizacje pamięci/obliczeń wewnątrz model/sprzętowe.
  • 14
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

To, co opinia publiczna sądzi, gdy się nie zna na temacie, nie jest istotne. Istotne są twarde dane, np. wyniki w benchmarkach.


@Arkass: Z tymi twardymi danymi to niestety jest problem... Benchmarki nie są nimi - nowe modele są bardzo często trenowane tak, żeby lepiej rozwiązywać te testy. To jest takie trochę oszukiwanie na egzaminie :-)

Moim zdaniem na razie nie widać sufitu w rozwoju LLMów, ciągle się skalują, są
  • Odpowiedz
Alternatywa są twarde dane - ile ludzi zastąpił w pracy, o ile zwiększył wydajność, etc...


@kwanty: IMO:
Ale te dane nie pokazują tylko możliwości modeli AI, ale miks różnych rzeczy, jak też: włożone pieniądze w marketing, cena/opłacalność korzystania z modeli, a zwłaszcza - kto był pierwszy ze swoim AI, itp.
Np. do dziś dnia reszta nie może dogonić OpenAI z udziałem korzystania z ich AI, przez to, że OpenAI miało
Arkass - >Alternatywa są twarde dane - ile ludzi zastąpił w pracy, o ile zwiększył wy...

źródło: image

Pobierz
  • Odpowiedz
  • 1
@RRybak: Najlepsze do PL:

Fish Audio S2 Pro
KugelAudio
Chatterbox (działa mi lokalnie na CPU, choć nie działało przez Gradio i musiałem sam stronę www do obsługi sobie dorobić)
MOSS-TTS
  • Odpowiedz
@silentbomba: heretic / abliterated / decensored / derestricted

A z NSFW to dobre są Rocinante-X i Forgotten Safeword

huihui ( ͡° ͜ʖ ͡
  • Odpowiedz
Gdy Twitter zauważy, że interesuje cię temat GNOME:
To jest tak że algorytm bierze najgorsze najgłupsze najmniej wnoszące wpisy z danego tematu, który cię według Twittera interesuje.
I wtedy zalewa cię takim spamem, często wielokrotnie to samo ale z różnych kont.

Aktualnie oficjalnie to Grok reguluje Dla Ciebie na Twitterze.
#grok #llm #ai #twitter #elonmusk
look997 - Gdy Twitter zauważy, że interesuje cię temat GNOME:
To jest tak że algorytm...

źródło: obraz

Pobierz
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • Doceń
Treść przeznaczona dla osób powyżej 18 roku życia...
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

czemu jak chce zrobić screenshot, to llm postanowiło nic nie robić?! dosłownie LLM rusza myszką!

https://wykop.pl/wpis/85426217/agenci-sa-mega-fajne-nawet-potrafia-scrollowac-wow

#programowanie #sztucznainteligencja #llm
@aptitude 0
agenci są mega fajne, nawet potrafią scrollować! wow! dosłownie ma całą kontrolę na chrome!

#sztucznainteligencja #programowanie
aptitude - czemu jak chce zrobić screenshot, to llm postanowiło nic nie robić?! dosło...

źródło: Screenshot_2026-03-20_04-32-26

Pobierz
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

LLM to super narządzie!
Dopóki wie się jak to działa.

Ja budowałem sam wiele modeli LLM. LLM to tylko czysta matematyka, nawet Claude to tylko matma! Więc jak wiecie jak poprawnie coś sprompotpować aby było blisko vector to zatrudnijcie mnie :3 Ja bardzo dobry jestem z rozmową z LLM, wcale nie wiele wymaga aby naprowadzić LLM na poprawną stronę, czasami tylko jedno słowo. Wystarczy mieć mapę vectorową w głowie.
State of art:
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach