Szala
Szala
Pacjent Intel Arc Pro B70 32GB VRAM vs lokalne LLM

Jakiś czas temu wpadłem na pomysł dodania dedykowanej karty do mojego domowego serwera na Proxmoxie - cel: lokalne llm/comfyui/whisper mam kilka zastosowań, których nie chcę wypychać na zewnętrzne API - nadal to najlepsza/najtańsza opcja

Już miałem kupionego RTX5060Ti 16GB ale jednak końcowo zamiast kolejnej Nvidii wziąłem Intel Arc Pro B70 (wersja od Asrocka) - głównie z jednego powodu: 32GB VRAM w cenie, za którą
  • Najlepsze
  • Wszystkie komentarze
Igorczyk
Igorczyk
@Szala: .
Szala
Szala
Szala Autor
1
@utilek: tak, miałem przygotowany ten sam prompt i zmieniałem kolejno parametry obserwując zmianę zachowania i wyniki. Jak będę przy komputerze to zrzucę przykładową tabelę z wynikami
Sophos
Sophos
Sophos
  • adult
7
Treść przeznaczona dla osób powyżej 18 roku życia...
  • Najlepsze
  • Wszystkie komentarze
szefczyk
szefczyk
@Sophos: cloude rephrase this nonsense ( ͡° ͜ʖ ͡°)
szefczyk
szefczyk
@Sophos: co do zasady się zgadzam - ale businessu to nie interesuje - skalujemy wertykalnie. Liczą się tylko features, przepychanie kolanem i całodniowe p-------n*e - a fixy sprzedamy klientowi jako maitanence ( ͡° ͜ʖ ͡°)
Original_000001
#ai #llm #krea2 #sztucznainteligencja #pcmasterrace
Szczegółowa instrukcja instalacji nowego modelu Krea 2 do generowania grafiki lokalnie bez cenzury. Model nie był szkolony wg określonego stylu graficznego, więc nie ma efektu sztuczności i może generować różne style. Ponoć można już używać go z 8GB VRAM, obraz generuje ~10s(kwestia sprzętu). Jak ktoś już używa, to dajcie znać jak generowanie 'corn',(if you know what i
  • Najlepsze
  • Wszystkie komentarze
supra107
@Original_000001: Nie wiem czy to 8GB takie prawdziwe. Tak, jest model który się zmieści w 8GB VRAM, ale wymaga karty RTX 50, bo NVFP4. Ale RAW FP8 mógłbym zmieścić na 3090ce, może jak będzie mi się chciało to się pobawię.
makrofag74
  • Najlepsze
  • Wszystkie komentarze
GabrielOcello
@makrofag74: tylko co z tego jak nie dla polaka i reszty świata to :c
makrofag74
makrofag74 Autor
0
@GabrielOcello: Chińskie modele są o wiele tańsze i powoli zbliżają się do czołówki. Brakuje im 2-6 miesięcy jakieś podobno do zachodnich modeli.
Lokalnie 13-22 tok/s na modelach do 12B (26B-A4B) na samym CPU + lama.cpp wyciskam.
Natan93
Natan93
Mirki. Raczkuje w świecie #llm
Chcę zbudować agenta, który będzie mnie instruował jak prowadzić kampanie marketingowe w Google Ads, na meta reklamy, jak samemu modernizować stronę internetową, prowadzić fanpage. Chce unowocześnić firmę, która ma 30 lat i wszystko prowadzone jest w zeszytach.
Myślałem, że skoro Gemini jest od Google to będzie łatwiej umiało operować w tej strukturze niż chat gpt, jednak bo tym jak zadając zwykłe pytanie, pomimo zmieniania kontekstów indywidualnych
  • Najlepsze
  • Wszystkie komentarze
Anihilacja_entropii
Anihilacja_entropii
No i rząd USA zabronił udostępniać model Fable 5, po za granicami USA ( ͡° ͜ʖ ͡°)

#claude #atrophic #fable #sztucznainteligencja #llm #technologia
  • Najlepsze
  • Wszystkie komentarze
Anihilacja_entropii
Anihilacja_entropii
Treść przeznaczona dla osób powyżej 18 roku życia...
gruby55
gruby55
Kurna, claudiusz opus, sonet, mythos. oceanus teraz jakies fable i jak tu sie nie pogubić.

#ai #llm #claude #anthropic
  • Najlepsze
  • Wszystkie komentarze
FLAC
#heheszki #sztucznainteligencja #ai #llm #antyai

GPT 5.6: hold my beer xD

Ci ludzie o poziomie pojmowania przedszkolaka powtarzają to samo od czasów premiery GPT 3.5
  • Najlepsze
  • Wszystkie komentarze
marcinst
Mam dla Was zagadkę obrazkową, logiczną, ale zabawną i podchwytliwą, podpis jest ważny (Stoi, siedzi, czy leży?).
Jeśli będziecie błędnie odpowiadać to podprowadzę - potraktujcie to jako luźną zabawę skojarzeń.
#llm odpowiedziała poprawnie po pierwszej podpowiedzi.
Teraz Was testuję ( ͡° ͜ʖ
  • Najlepsze
  • Wszystkie komentarze
Doment
Siema Mirki z #programowanie i #sztucznainteligencja! 👋

Ostatnio mocno korzystam z Perplexity, ale szlag mnie trafiał, gdy musiałem kopiować dłuższe wątki i bloki kodu do własnej bazy wiedzy. Zawsze coś się sypało, formatowanie Markdowna znikało, a ręczne czyszczenie tego to strata czasu.

Nie znalazłem na rynku nic sensownego, więc... napisałem to sam. #chwalesie 🚀
  • Najlepsze
  • Wszystkie komentarze
TakumiFujiwara
TakumiFujiwara
#ai #llm #gemini #google
Myślę że ludzkość jeszcze długo będzie bezpieczna... (✌ ゚ ∀ ゚)☞ #
lipton_pl
lipton_pl
brain.md — lokalny markdownowy notatnik z wbudowanym RAG i serwerem MCP. Wczoraj wyszła wersja 0.3.0 i pierwszy raz mogę uczciwie napisać że "działa od kopa": pobierasz jedną binarkę, odpalasz, otwierasz przeglądarkę. Bez Pythona, bez Dockera, bez Ollamy.

Co dostajesz w pudełku:
• edytor zgodny z Obsidianem (wikilinki, callouty, math, mermaid, taski, frontmatter, aliasy) — istniejący vault Obsidiana po prostu się otworzy
• semantyczne wyszukiwanie — model bge-small-en-v1.5 zaszyty w binarce jako WASM ONNX, pobiera się
  • Najlepsze
  • Wszystkie komentarze
kilo-bravo2
kilo-bravo2
#ai #llm #claude
Kierła dałem się oscamowac na współdzielone konto Claude pro dla 5 osób. Raz/dwa razy dziennie można cos wysłać bo limity...
  • Najlepsze
  • Wszystkie komentarze
makrofag74
#ai #llm #sztucznainteligencja
Najnowszy ranking:
  • Najlepsze
  • Wszystkie komentarze
Gleacher
Gleacher
Ten uczuć, kiedy model językowy poucza Cię, że scrapowanie może naruszać prawa autorskie xDDD Oni pewnie szkolili te modele na własnych notatkach.

#ai #programista15k #llm #chatgpt
  • Najlepsze
  • Wszystkie komentarze