Ze wszystkich AI projektów nie rozumiem czemu ludzie najbardziej jarają się przepisaniem jakiegoś projektu na inny język. Nie ma nic mniej wnoszącego w rozwój oprogramowania niż rewrite na inny język. Jaracie się rewritem buna który zjadł już 800k$ i wciąż wymaga mocnego nadzoru ze strony programistów. Widziałem gdzieś post z rewritem Sqllite który kosztował "tylko" 1k$. Tymczasem jest to najprostsza rzecz do przepisania dla LLMa, ma w swoich danych treningowych cały kod
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@OlekAleksander: z licencji MIT ( ͡° ͜ʖ ͡°) Faktycznie warto. Myślisz, że jakbyś 1:1 przepisał Windowsa w rust i nazwał go Oknos 12 i sprzedawał za 50 PLN to Microsoft by powiedział "w sumie to ok, bo my pisaliśmy w C"?
  • Odpowiedz
@Szala: Jak testujesz szybkość vllm'a? Postawiłem na małym clustrze, działa i teraz chcę to jakoś sprofilować żeby zobaczyć przy jakich ustawieniach jest optimum.
  • Odpowiedz
Jak zaczynałem to ludzie się jarali JQuery i ile z tym można było zrobić, potem jakiś gość napisał najgorszy framework na świecie czyli angularJS, ale ludzi robili wow "to nie trzeba już pisać wszystkiego z ręki?". W między czasie powstały technologie do łatwego tworzenia serwerów jak spring boot, .NET czy express. Kilka lat do przodu i kod pisze się sam. Czuję się staro. To co dzisiaj wydaje się wam wow za 10
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@LM317K: nie no cenowo tanio, bo jadę na abonamencie, claude code też działa na tym.
Mam dwa abonamenty jeden clauda, drugi gpt, z czego claude pisze kod, gpt, na razie review, dokumentacje, jakieś tam drobniejsze rzeczy i "pogaduszki".

Jak bym używał normalnego API gdzie płace per tokeny to raczej nie było by na moją kieszeń uwzględniając, to, że to nie komercyjne projekty. Gdzieś tam wyliczali, że jak wykorzystujesz 100% abonamentu
  • Odpowiedz
Pacjent Intel Arc Pro B70 32GB VRAM vs lokalne LLM

Jakiś czas temu wpadłem na pomysł dodania dedykowanej karty do mojego domowego serwera na Proxmoxie - cel: lokalne llm/comfyui/whisper mam kilka zastosowań, których nie chcę wypychać na zewnętrzne API - nadal to najlepsza/najtańsza opcja

Już miałem kupionego RTX5060Ti 16GB ale jednak końcowo zamiast kolejnej Nvidii wziąłem Intel Arc Pro B70 (wersja od Asrocka) - głównie z jednego powodu: 32GB VRAM w cenie, za którą
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 1
@utilek: tak, miałem przygotowany ten sam prompt i zmieniałem kolejno parametry obserwując zmianę zachowania i wyniki. Jak będę przy komputerze to zrzucę przykładową tabelę z wynikami
  • Odpowiedz
Treść przeznaczona dla osób powyżej 18 roku życia...
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Sophos: co do zasady się zgadzam - ale businessu to nie interesuje - skalujemy wertykalnie. Liczą się tylko features, przepychanie kolanem i całodniowe p-------n*e - a fixy sprzedamy klientowi jako maitanence ( ͡° ͜ʖ ͡°)
  • Odpowiedz
#ai #llm #krea2 #sztucznainteligencja #pcmasterrace
Szczegółowa instrukcja instalacji nowego modelu Krea 2 do generowania grafiki lokalnie bez cenzury. Model nie był szkolony wg określonego stylu graficznego, więc nie ma efektu sztuczności i może generować różne style. Ponoć można już używać go z 8GB VRAM, obraz generuje ~10s(kwestia sprzętu). Jak ktoś już używa, to dajcie znać jak generowanie 'corn',(if you know what i
Original_000001 - #ai #llm #krea2 #sztucznainteligencja #pcmasterrace
Szczegółowa ins...
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Original_000001: Nie wiem czy to 8GB takie prawdziwe. Tak, jest model który się zmieści w 8GB VRAM, ale wymaga karty RTX 50, bo NVFP4. Ale RAW FP8 mógłbym zmieścić na 3090ce, może jak będzie mi się chciało to się pobawię.
supra107 - @Original_000001: Nie wiem czy to 8GB takie prawdziwe. Tak, jest model któ...

źródło: image

Pobierz
  • Odpowiedz
  • 0
@GabrielOcello: Chińskie modele są o wiele tańsze i powoli zbliżają się do czołówki. Brakuje im 2-6 miesięcy jakieś podobno do zachodnich modeli.
Lokalnie 13-22 tok/s na modelach do 12B (26B-A4B) na samym CPU + lama.cpp wyciskam.
  • Odpowiedz
Mirki. Raczkuje w świecie #llm
Chcę zbudować agenta, który będzie mnie instruował jak prowadzić kampanie marketingowe w Google Ads, na meta reklamy, jak samemu modernizować stronę internetową, prowadzić fanpage. Chce unowocześnić firmę, która ma 30 lat i wszystko prowadzone jest w zeszytach.
Myślałem, że skoro Gemini jest od Google to będzie łatwiej umiało operować w tej strukturze niż chat gpt, jednak bo tym jak zadając zwykłe pytanie, pomimo zmieniania kontekstów indywidualnych
Natan93 - Mirki. Raczkuje w świecie #llm
Chcę zbudować agenta, który będzie mnie inst...

źródło: IMG_7379

Pobierz
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Natan93: Nie chce brzmieć jak ktoś z #elektrodacontent, ale u ciebie jest fundamentalnie złe podejście do tego co chcesz osiągnąć. Chcesz się uczyć, przyznajesz że raczkujesz a już używasz górnolotnych fraz że się zawiodłeś. Mirku, zanim zbudujesz agenta ogarnij najpierw narzędzie bo strzelasz z procy do czołgu. Używasz najlżejszsgo modelu jaki Google daje. Gemini Flash to wersja zaprojektowana do bycia szybką i tanią, nie mądrą a napewno
  • Odpowiedz
a wew nątrz nie zabronił? ( ͡° ͜ʖ ͡°)

Anthropic i tak wyłączył wszystkim xD Obywatele USA też nie maja aktualnie dostępu.


@Nadwykopek: @majk3l:

Tak, w sumie to zabronił nawet obcokrajowcom w USA, wię cpernie Antropic nie ma takiego rozdzielenia, więc prościej było tak.
A może to też forma nacisku, kto wie
  • Odpowiedz
Wszedł ten niby (nie tak do końca niby, bo sprawdzałem w programowaniu i jest faktycznie lepszy) zajebisty model od #anthropic i dałem mu jakąś tam zagadkę do analizy (rozwiązałem ją, ale chciałem sprawdzić czy nie ma drugiego dnia itd.)

Poczekałem na nową pięciogodzinną sesję aby miał jak najwięcej tokenów dostępnych. Effort dałęm na maxa aby jak już coś wykmini to niech to będzie super.

No i mielił, mielił i ....

I
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach