Pacjent Intel Arc Pro B70 32GB VRAM vs lokalne LLM

Jakiś czas temu wpadłem na pomysł dodania dedykowanej karty do mojego domowego serwera na Proxmoxie - cel: lokalne llm/comfyui/whisper mam kilka zastosowań, których nie chcę wypychać na zewnętrzne API - nadal to najlepsza/najtańsza opcja

Już miałem kupionego RTX5060Ti 16GB ale jednak końcowo zamiast kolejnej Nvidii wziąłem Intel Arc Pro B70 (wersja od Asrocka) - głównie z jednego powodu: 32GB VRAM w cenie, za którą
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 1
@utilek: tak, miałem przygotowany ten sam prompt i zmieniałem kolejno parametry obserwując zmianę zachowania i wyniki. Jak będę przy komputerze to zrzucę przykładową tabelę z wynikami
  • Odpowiedz
Treść przeznaczona dla osób powyżej 18 roku życia...
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Sophos: co do zasady się zgadzam - ale businessu to nie interesuje - skalujemy wertykalnie. Liczą się tylko features, przepychanie kolanem i całodniowe p-------n*e - a fixy sprzedamy klientowi jako maitanence ( ͡° ͜ʖ ͡°)
  • Odpowiedz
#ai #llm #krea2 #sztucznainteligencja #pcmasterrace
Szczegółowa instrukcja instalacji nowego modelu Krea 2 do generowania grafiki lokalnie bez cenzury. Model nie był szkolony wg określonego stylu graficznego, więc nie ma efektu sztuczności i może generować różne style. Ponoć można już używać go z 8GB VRAM, obraz generuje ~10s(kwestia sprzętu). Jak ktoś już używa, to dajcie znać jak generowanie 'corn',(if you know what i
Original_000001 - #ai #llm #krea2 #sztucznainteligencja #pcmasterrace
Szczegółowa ins...
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Original_000001: Nie wiem czy to 8GB takie prawdziwe. Tak, jest model który się zmieści w 8GB VRAM, ale wymaga karty RTX 50, bo NVFP4. Ale RAW FP8 mógłbym zmieścić na 3090ce, może jak będzie mi się chciało to się pobawię.
supra107 - @Original_000001: Nie wiem czy to 8GB takie prawdziwe. Tak, jest model któ...

źródło: image

Pobierz
  • Odpowiedz
  • 0
@GabrielOcello: Chińskie modele są o wiele tańsze i powoli zbliżają się do czołówki. Brakuje im 2-6 miesięcy jakieś podobno do zachodnich modeli.
Lokalnie 13-22 tok/s na modelach do 12B (26B-A4B) na samym CPU + lama.cpp wyciskam.
  • Odpowiedz
Mirki. Raczkuje w świecie #llm
Chcę zbudować agenta, który będzie mnie instruował jak prowadzić kampanie marketingowe w Google Ads, na meta reklamy, jak samemu modernizować stronę internetową, prowadzić fanpage. Chce unowocześnić firmę, która ma 30 lat i wszystko prowadzone jest w zeszytach.
Myślałem, że skoro Gemini jest od Google to będzie łatwiej umiało operować w tej strukturze niż chat gpt, jednak bo tym jak zadając zwykłe pytanie, pomimo zmieniania kontekstów indywidualnych
Natan93 - Mirki. Raczkuje w świecie #llm
Chcę zbudować agenta, który będzie mnie inst...

źródło: IMG_7379

Pobierz
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Natan93: Nie chce brzmieć jak ktoś z #elektrodacontent, ale u ciebie jest fundamentalnie złe podejście do tego co chcesz osiągnąć. Chcesz się uczyć, przyznajesz że raczkujesz a już używasz górnolotnych fraz że się zawiodłeś. Mirku, zanim zbudujesz agenta ogarnij najpierw narzędzie bo strzelasz z procy do czołgu. Używasz najlżejszsgo modelu jaki Google daje. Gemini Flash to wersja zaprojektowana do bycia szybką i tanią, nie mądrą a napewno
  • Odpowiedz
a wew nątrz nie zabronił? ( ͡° ͜ʖ ͡°)

Anthropic i tak wyłączył wszystkim xD Obywatele USA też nie maja aktualnie dostępu.


@Nadwykopek: @majk3l:

Tak, w sumie to zabronił nawet obcokrajowcom w USA, wię cpernie Antropic nie ma takiego rozdzielenia, więc prościej było tak.
A może to też forma nacisku, kto wie
  • Odpowiedz
Wszedł ten niby (nie tak do końca niby, bo sprawdzałem w programowaniu i jest faktycznie lepszy) zajebisty model od #anthropic i dałem mu jakąś tam zagadkę do analizy (rozwiązałem ją, ale chciałem sprawdzić czy nie ma drugiego dnia itd.)

Poczekałem na nową pięciogodzinną sesję aby miał jak najwięcej tokenów dostępnych. Effort dałęm na maxa aby jak już coś wykmini to niech to będzie super.

No i mielił, mielił i ....

I
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Kiedyś chciałem zrobić skrypt w powershellu nie znając tego języka i zajęło mi to z 2-3 tygodnie zanim zrobiłem coś co działa jak chcę, teraz GPT może to one-shotować


@FLAC: Zlituj się z takimi bajkami. Ani nie zajmowało Ci tego 2-3 tygodnie wtedy, ani nie zrobiłeś tego na strzała poprzez AI teraz.


Najlepszym dowodem na farmazony są właśnie takie kolorowe historyjki ludzi, którzy wymyślają je na bieżąco i nigdy nie robili
  • Odpowiedz
via Wykop
  • 0
@tomasz-jedon: zajęło mi to 2-3 tygodnie głównie dlatego że co chwila trafiały się jakieś edge case o których nie pomyślałem (skrypt do przetwarzania plików). Obecnie codex sam pyta często proaktywnie o różne scenariusze np albo tworzy różne handlery na nieprzewidziane sytuacje.
  • Odpowiedz
Mam dla Was zagadkę obrazkową, logiczną, ale zabawną i podchwytliwą, podpis jest ważny (Stoi, siedzi, czy leży?).
Jeśli będziecie błędnie odpowiadać to podprowadzę - potraktujcie to jako luźną zabawę skojarzeń.
#llm odpowiedziała poprawnie po pierwszej podpowiedzi.
Teraz Was testuję ( ͡° ͜ʖ
marcinst - Mam dla Was zagadkę obrazkową, logiczną, ale zabawną i podchwytliwą, podpi...

źródło: we

Pobierz
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Siema Mirki z #programowanie i #sztucznainteligencja! 👋

Ostatnio mocno korzystam z Perplexity, ale szlag mnie trafiał, gdy musiałem kopiować dłuższe wątki i bloki kodu do własnej bazy wiedzy. Zawsze coś się sypało, formatowanie Markdowna znikało, a ręczne czyszczenie tego to strata czasu.

Nie znalazłem na rynku nic sensownego, więc... napisałem to sam. #chwalesie 🚀
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Doment: Jak podepniesz serwer MCP np. z Chrome to zamykasz pętlę i agent może pisać i uruchamiać testy, sprawdzać rezultaty i wiele rzeczy dzieje się szybciej.
Pali sporo tokenów, to do testów bym podpiął lokalny model.
  • Odpowiedz
brain.md — lokalny markdownowy notatnik z wbudowanym RAG i serwerem MCP. Wczoraj wyszła wersja 0.3.0 i pierwszy raz mogę uczciwie napisać że "działa od kopa": pobierasz jedną binarkę, odpalasz, otwierasz przeglądarkę. Bez Pythona, bez Dockera, bez Ollamy.

Co dostajesz w pudełku:
edytor zgodny z Obsidianem (wikilinki, callouty, math, mermaid, taski, frontmatter, aliasy) — istniejący vault Obsidiana po prostu się otworzy
semantyczne wyszukiwanie — model bge-small-en-v1.5 zaszyty w binarce jako WASM ONNX, pobiera się
lipton_pl - brain.md — lokalny markdownowy notatnik z wbudowanym RAG i serwerem MCP. ...

źródło: project-with-sidebar

Pobierz
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Ja mam też współdzielone pro dla 5 osób i praktycznie przez 15 dni tylko Ja korzystam z konta i mam limity dla siebie, jedynie jakiś Koreańczyk był przez 3 dni i tyle. Także zależy jak się trafi. Ale chętnie był dołączył do Team teraz
  • Odpowiedz