#ai #llm #claude
Kierła dałem się oscamowac na współdzielone konto Claude pro dla 5 osób. Raz/dwa razy dziennie można cos wysłać bo limity...
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 0
OMLX na MacBook Pro M4 48GB RAM. Pi-mono agent. Qwen3.6 35B A3B UD MLX 4bit. Nawet fajnie chodzi. 48t/s gen, prefill 520 t/s.
  • Odpowiedz
Mirki moze ktos z was ogarnia, openclaw i bot telegram(ale bot/agent ogolnie), generuje mase tokenow przy prostym 2+2 - spamuje na maxa zbednym kontentem. Zauwazylem to dopiero na lokalnym llmie ktory stoi na mac studio. Wczesniej po api do deepseek nie zwrocilem uwagi na tokeny przy zapytaniach.
Nic nie pomaga na ograniczenie bota, zawsze n--------a po korek, taka przypadlosc openclaw czy ja jestem na to zbyt glupi?

#ai #llm
Pan_Slon - Mirki moze ktos z was ogarnia, openclaw i bot telegram(ale bot/agent ogoln...

źródło: Screenshot 2026-05-10 at 11.52.57

Pobierz
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Pan_Slon: Problem leży w systemowym prompcie frameworka. OpenClaw domyślnie pakuje ogromny kontekst przy każdym zapytaniu niezależnie od jego prostoty, do tego agent "myśli na głos" przed odpowiedzią co generuje dodatkowe tokeny. Rozwiązanie to albo przycięcie systemu promptu do minimum, albo ustawienie max_tokens w odpowiedzi, albo wywalenie narzędzi których bot nie potrzebuje bo sam ich opis zjada konteksty.
  • Odpowiedz
  • 0
@Pan_Slon: Sam sobie odpowiem, jest jakis problem z ogarnianiem kontekstu pytania, bot z openclaw i tak jest ustawiony "zajebiscie" Testowo odpalilem Hermesa i j--------e jaki kontekst wali, trwa to 4 razy dluzej niz problem z openclaw Tak wiec nie jest zle ale musze dowiedziec sie jak ogarnac "zlewanie" spamu kontekstem bota nt jego bzdurnych umiejetnosci itp przy prompt typu 2+2
  • Odpowiedz
@rolling_stone_with_no_hope: zapewniam Cię że ze względów strategicznych, bezpieczeństwa, przewagi biznesowej, niezależności, model biznesu oparty o chmury dostarczane przez globalne korporacje będzie tracił rynek na rzecz lokalnych serwerowni, nad którymi przedsiębiorcy będą chcieli mieć większą kontrolę, to dotyczy także AI. Te przemiany to kolejne pół wieku zapieprzania w IT aby nadgonić za potrzebami rynku. Rynku który będzie pełen konfliktów, walk korporacji, armie inżynierów zawsze będą potrzebne.

To że inwestorzy sami nie
  • Odpowiedz
Czy ktoś zna się tutaj na #ai? Mam genialny pomysł na personal assistanta do nauki języków tylko nie umiem w programowanie ani robienie appek. Jak ktoś ogarnia to może się dołączyć, raczej pewniak że Duolingo przy tym będzie wyglądać jak quiz z gimnazjum. #chatgpt #llm #startup #jezyki #korposwiat #pracait (wołam 200k osób xD)
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Wszystkie LLMy działają na procesorach graficznych, które ciągle muszą odczytywać i zapisywać dane do VRAM. Żeby działało to jakkolwiek wydajnie cały model i cache musi zmieścić się w VRAM. Dlatego żeby odpalić przyzwoity model trzeba mieć w cholerę pamięci, a i tak dostaniemy maks kilkaset tokenów na sekundę, bo wymiana danych ma swoje ograniczenia.

Takie podejście jest konieczne, ze względu na to, że modele ciągle się zmieniają. Ten sam hardware może dzisiaj wspierać
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Oo-oO 0
Ej, ale co google zrobiło ze swoim SI? Tzn - nie korzystam na tyle często bym wiedział czy wcześniej się tak zachowywało ale wydaje mi się że nie... teraz jest bardzo... luzackie. Odpowiada w stylu:

- rozwiązanie A zmasakruje wydajnością rozwiązanie B
noooo okej, dobra

- jednak obsługa tego (...)
  • Odpowiedz
@niedorzecznybubr: IMO:
Z tego co mówił kilkukrotnie prof. W. Duch, to modele AI używane przez Chat, piszą naraz z wieloma użytkownikami, przez co dostrajają się do wielu użytkowników naraz, przejmując po części ich styl/osobowość/itp, w jednej sesji takiego modelu. O ile dobrze zrozumiałem.
Zatem ktoś inny mógł jednocześnie pisać w prostacki i wulgarny sposób z takim chatem, a model to podłapał, i Tobie tak, a nie inaczej odpisał. ;)
  • Odpowiedz
@makrofag74: IMO:
Ale wniosek z tego jest taki:
- Albo obydwa testy są do kitu, i nie mierzą poprawnie halucynowania modeli AI, w sensie - nie pokazują, które modele najmniej halucynują.
- Albo tylko jeden z tych testów jest do kitu.

Różne wyniki na tych samych modelach AI nie mogą być poprawne, w sensie wskazujące poprawnie - które modele najmniej halucynują.
  • Odpowiedz
Nie mam pojęcia gdzie OP robotę dostał, ale po wrzuceniu Claude na bazkę z wrażliwymi danymi, i to jeszcze produkcyjną, pozostaje chyba tylko mieć nadzieję że to organ państwowy dla sąsiedniego województwa xddd

BiauekRemover - Nie mam pojęcia gdzie OP robotę dostał, ale po wrzuceniu Claude na ba...

źródło: 1000009216

Pobierz
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@BiauekRemover: to jest ogólnie problem z tą technologią. Ona halucynuje i jest niedeterministyczna. W 90% może działać dobrze w 10% zachowa się inaczej i coś się złego stanie. Jak ktoś używa za dużo agentów to zaczyna im ufać, zaufanie powoduje, że coraz to kolejne uprawnienia są im przyznawane i coraz słabiej się ich sprawdza. Ludzka psychologia działa przeciwko nam bo zaczyna się antropomorfizacja i nawet nie przychodzi do głowy, że
  • Odpowiedz
@tubkas12: @some_ONE: czyli innymi słowy ktoś koncertowo w-----ł podstawowe BHP, z własnej woli i w całości puścił dane klientów na jakieś bliżej nieokreślone serwery hen za lasami, a potem mimo istnienia gotowego backupu cały dzień zeszło mu na przywracaniu tego do stanu używalności. Nie wiem, może .bckp kurierem wiózł w zipie i czekał na doręczenie xD

A na koniec, zamiast po prostu siedzieć cicho i liczyć, że nie będzie
  • Odpowiedz