mathmed
  • 6
Ostatnio mocno się zainteresowałem uruchamianiem lokalnie modeli językowych i testowaniem ich możliwości zwłaszcza w kwestiach wspomagania w programowaniu. Natomiast za cel tej zabawy przyjąłem sobie kwotę do około 2000zł i chciałem Wam opowiedzieć o moim finalnym już sprzęcie.

Zakupiłem serwer z drugiej ręki na Allegro.

Procesor Intel XEON E5-1620v4 3.50GHz, max turbo 3.80GHz, 4 rdzenie

Pamięć
  • 34
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
mathmed via Android
  • 0
@majk3l: W inferencji procesory 35W (wielordzeniowe) mogą mieć podobne osiągi co ten komputer? Mam łapka z 4060 i 32Gb DDR5 ram, muszę dziś go odpalić i zobaczyć jakie ma osiągi. Wydaje mi się, z tego co pamiętam, że sporo słabsze.
Chciałbym też usiąść do uczenia i sprawdzić czy da się wykorzystać potencjał tej pamięci HBM2. Wysłałem sobie dwa linki, ale jeszcze nie odwiedziłem.
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@majk3l: @kwanty @quzo82
Czas na wyniki testów, porównanie zrobiłem między kompem wyżej a laptopem z i7-12650H, 32GB DDR5, RTX 4060 8GB VRAM.

1. MODEL QWEN3.5-35b-a3b:
Serwer 17 tokenów/s laptop 7 tokenów/s
  • Odpowiedz
mathmed
mathmed via Android
  • 1
@kwanty: @FLAC Nie wytrzymałem oczywiście i kupiłem sobie RTX 3060 12GB. Od razu po instalacji problemy - zainstalowanie sterowników RTX rozwalało sterowniki od Tesli i vice versa. Dopiero zainstalowanie sterownika Tesli od nVidii i kliknięcie aktualizacji sterownika Podstawowego Adaptera Graficznego przez Windows Update umożliwiło współdziałanie obu kart na W10. A i tak P100 nie może przejść w tryb WDDM (zmiana parametru AdapterType w regedit dawało wykrzyknik przy sterowniku karty).
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@kwanty: Obiecywałem sobie to już z 15 lat i jakoś zawsze mnie odstrasza. Na Win. czuję się bardziej komfortowo - u mnie to kwestia przyzwyczajenia. Myślę, że na Linux nie miałbym części tych problemów co na Win, ale te, które bym miał pewnie by się okazały dla mnie nie do pokonania.
  • Odpowiedz
mathmed
  • 0
@kwanty: Dopiero zacząłem używać tej aplikacji, ale daje dostęp LLM (w roli agenta) do przeglądarki i w przeciwieństwie do innych rozwiązań nie trzeba ściągać 100 rozszerzeń bibliotek pythona gdzie po drodze coś się zawsze wywali. Instaluję i działa, a to już dużo.

Przepraszam, ale ostatnie moje próby używania aplikacji w python, npm itp. kończyły się smutno.
w pewnym momencie procesu instalacyjnego "error" - przykład unsloth studio - "error cmake setup".
  • Odpowiedz
mathmed
  • 1
@FLAC: Ten zrzut ekranu idealnie określa moje odczucia. Tak, ja się łączę z serwerem lokalnego LM Studio, akurat nie musi być na tej samej maszynie - tym razem jest (siedzę na dyżurze w szpitalu).

Bardzo informatywne wideo.
  • Odpowiedz
mathmed
  • 0
@kwanty: @FLAC Teraz widzę, że ta apka ma skillbuilder dla LLM w UI. Też wydaje się to ciekawe i dość potężne narzędzie.
Nic czego nie da się zrobić, ale już jest. Dostęp Agent Skills -> Agent Flows.
  • Odpowiedz
mathmed
  • 0
Proszę o pomoc. Potrzebuję darmowego narzędzia, które umożliwi dostęp lokalnemu modelowi AI przez API LM Studio dostęp do przeglądarki/ do sieci. Chodzi o przeglądanie stron internetowych i znajdywanie tam informacji. Jest straszny natłok różnych opcji, ale trudno oddzielić ziarno od plew.

Znalazłem takie coś:
https://aiagentstore.ai/ai-agents-directory

Ale pewnie bardziej doświadczeni mają swoje sprawdzone sposoby. Może to być dodatek do przegladarki lub przeglądarka tekstowa.
mathmed - Proszę o pomoc. Potrzebuję darmowego narzędzia, które umożliwi dostęp lokal...

źródło: 12759

Pobierz
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
mathmed via Android
  • 0
@acidd: Pytałem lokalnego modelu, może napisać skrypt np. w python i dostanie taki dostęp. Mógłbym też sam wymodzić takie coś w PHP przez wamp/local ale pomyślałem, że skoro to tak proste - pewnie są gotowe, darmowe narzędzia. Możliwe, że dostęp byłby szerszy przez dostęp do ekranu / zrzutów ekranu / debuggera przeglądarki itp...
  • Odpowiedz
Cedrik
  • 3
Gdzie teraz jest AI z punktu widzenia takiego mnie?

Ano - nie da się exportować danych z filmwebu. Gryzłem się z tym od pewnego czasu, temat wracał i wracał.
Ponieważ używam AI do polecanek filmowych, chciałem naładować go danymi z prawie 1500 obejrzanych filmów, całą moją historią kinomańską.
Poskarżyłem się mu, że nie jestem w stanie dostarczyć mu danych z filmwebu.
Co zrobił AI?
Cedrik - Gdzie teraz jest AI z punktu widzenia takiego mnie? Ano - nie da się expor...

źródło: 655038864_122207139848483750_4166873888365652968_n

Pobierz
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 0
XYZ-Code


@FLAC: No właśnie, co byś polecił, żeby dać lokalnemu modelowi opcję pobierania danych z sieci - najlepiej dostęp do przeglądarki?

Zainstalowałem Node-RED, ale dotąd nie zdobyłem się, żeby zacząć używać. Zainstalowałem moduł mcp do LM Studio z wtyczką do Chrome - częściej nie widzi tego dodatku, niż go widzi - mimo, że jest uruchomiony.
  • Odpowiedz
mathmed
  • 0
Chciałbym spróbować swoich sił z ESPHOME podłączając się do Home Assistant. O ile wszystko wydaje się działać w jednej sieci (ROUTER 1), o tyle mam problem z podłączeniem się przez inny router. Moja konfiguracja sieciowa jest jak na obrazku - linie ciągłe to połączenie kablowe, a przerywane to WIFI.

1. KOMPUTER podłączony do ROUTERA 2 widzi ESPHOME i SERWER HA
2. KOMPUTER podłączony do ROUTERA 1 nie widzi ESPHOME
3. ESPHOME nie jest widziany
mathmed - Chciałbym spróbować swoich sił z ESPHOME podłączając się do Home Assistant....

źródło: SIEC

Pobierz
  • 8
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
mathmed via Android
  • 0
@Jarek_P: ROUTER 1 ma słaby zasięg ale ma kartę SIM, do niego w salonie jest dolaczony po kablu ROUTER 3 (duży zasięg). Drugi kabel idzie do switcha do którego w innej części domu jest podpięty serwer HA i stoi drugi router ROUTER 2 (ma tą samą nazwę i dostępy co ROUTER 3, tylko fizycznie inna lokalizacja co daje pokrycie pomieszczeń). Kombinacja...
  • Odpowiedz
mathmed
  • 0
Dostałem ostatnio z 10 wiadomości tego typu o próbie resetu hasła mojego konta Apple. Konta prawie nie używam, mam Mac Mini M4 na próbę, ale korzystam rzadko - niestety system Apple wymusił założenie konta na platformie.
Jak myślicie o czym może to świadczyć i co powinienem zmienić, żeby przywrócić bezpieczeństwo dla moich urządzeń (urządzenia) i / lub konta.

#apple #informatyka #niebezpiecznik #kiciochpyta
mathmed - Dostałem ostatnio z 10 wiadomości tego typu o próbie resetu hasła mojego ko...

źródło: IMG_20260113_121746

Pobierz
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 0
Chiny patrzą jak Trump zdejmuje ich sojuszników po kolei. Jedyna opcja to zacząć działać razem. A więc Iran wali w Izrael, Putin ma zniesione embargo na użycie atomu, a Chiny robią kwarantannę Tajwanu.
Logiczne? Change my mind.

#wojna #rosja #ukraina #chiny #usa
mathmed - Chiny patrzą jak Trump zdejmuje ich sojuszników po kolei. Jedyna opcja to z...

źródło: images (2)

Pobierz
  • 18
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
mathmed via Android
  • 0
@myidioci: Atom zmieni losy tej wojny. Jedna eksplozja stratosferyczna zniszczy energetykę Ukrainy. Kolejna na stolicę z destrukcją ośrodków władzy. Następnie nacisk na poddanie się w przeciwnym wypadku kolejne polecą na największe miasta.
W mojej opinii po tym Ukraina podporządkuje się bez dalszego oporu. Dyskusyjne czemu Putin nie zaczął od tego...
Nie popieram, ale zauważam brak logiki dotychczasowego postępowania.
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@myidioci: Dla nich fabrykowanie powodów to już klasyka. A Ukraina ostatnio ostro wali po rafineriach, a po zakłóceniach GPS też po blokach mieszkalnych.
  • Odpowiedz
mathmed
mathmed via Android
  • 0
@m_ney: Chiny to prawie zawsze nieagresor. Raczej skłonni do stoickiego obserwowania otoczenia "bez nerwowych ruchów". Za to sporo razy byli ofiarami agresji sąsiadów. Obecnie - wygląda jakby się przygotowywali od dłuższego czasu. Z pewnością budują możliwości.
  • Odpowiedz
Wykopek_Jeden
  • 2
W sumie zajęcie Grenlandii przez Amerykanów do im mocniejsze karty w późniejszej powojennej negocjacji z Rosją i Chinami na temat stref wpływów w których Polska ma to nieszczęście że się znajduje. Gdy Amerykanie zajmą już Grenlandię to może chociaż Polska pozostanie w Amerykańskiej strefie wpływów bo Ukraina na pewno nie. Ci którzy to krytykują to ruskie onuce które chcą aby Polska była w ruskiej strefie wpływów.

#wojna #rosja
  • 15
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 1
@Metris Nie jest dobrze, żebyśmy byli przy tym stole. Zapadną tam niekorzystne dla Ukrainy ustalenia. Mogliby w przyszłości opisać to jako udział polski w rozbiorze Ukrainy.
  • Odpowiedz
michalxd21
  • 1730
Tak czasem sobie siedzę i myślę - że jednak w zajebistych czasach żyjemy. Nie doceniamy jaki skok zanotowaliśmy. Jakie mamy możliwości względem naszych przodków.

Pochodzę z Podlasia, wieś 2 tysiące mieszkańców, gmina 4 tysiące. 10km dalej jest granica z Białorusią. Od jakiegoś czasu mocno się wkręciłem w #genealogia badając losy mojej rodziny. 300 lat do tyłu na tej samej ziemi moi przodkowie wszyscy w linii prostej się parali rolnictwem. 300 lat,
michalxd21 - Tak czasem sobie siedzę i myślę - że jednak w zajebistych czasach żyjemy...

źródło: image

Pobierz
  • 224
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mathmed
  • 18
@michalxd21
Jak hodujesz jakieś zwierzątka i one Ci się nie rozmnażają to zakładasz, że pewnie coś źle robisz i czegoś im brakuje.
Jaki jest teraz współczynnik reprodukcji? Ciekawy wpis, ale patrząc na dzietność to gonimy nie tego króliczka i chyba jest nam nie najlepiej.
Mamy dostęp do zdobyczy techniki, ale mimo tego dzieci jest bardzo mało. Ssaki źle się rozmnażają w niewoli...
  • Odpowiedz
mathmed
  • 0
@Cadfael: Antykoncepcja była dostępna już jakiś czas, spadek dzietności to widmo miecza Damoklesa i zmian socjo-społecznych wykraczających poza metody zapobiegania zajściu w ciążę.
  • Odpowiedz
  • Hobbystycznie programista, elektronik, miłośnik harmonii natury i techniki.
  • Łódź
  • wykop.pl

Osiągnięcia