Mirki moze ktos z was ogarnia, openclaw i bot telegram(ale bot/agent ogolnie), generuje mase tokenow przy prostym 2+2 - spamuje na maxa zbednym kontentem. Zauwazylem to dopiero na lokalnym llmie ktory stoi na mac studio. Wczesniej po api do deepseek nie zwrocilem uwagi na tokeny przy zapytaniach. Nic nie pomaga na ograniczenie bota, zawsze n--------a po korek, taka przypadlosc openclaw czy ja jestem na to zbyt glupi?
@Pan_Slon: Problem leży w systemowym prompcie frameworka. OpenClaw domyślnie pakuje ogromny kontekst przy każdym zapytaniu niezależnie od jego prostoty, do tego agent "myśli na głos" przed odpowiedzią co generuje dodatkowe tokeny. Rozwiązanie to albo przycięcie systemu promptu do minimum, albo ustawienie max_tokens w odpowiedzi, albo wywalenie narzędzi których bot nie potrzebuje bo sam ich opis zjada konteksty.
@Pan_Slon: Sam sobie odpowiem, jest jakis problem z ogarnianiem kontekstu pytania, bot z openclaw i tak jest ustawiony "zajebiscie" Testowo odpalilem Hermesa i j--------e jaki kontekst wali, trwa to 4 razy dluzej niz problem z openclaw Tak wiec nie jest zle ale musze dowiedziec sie jak ogarnac "zlewanie" spamu kontekstem bota nt jego bzdurnych umiejetnosci itp przy prompt typu 2+2
Wszystkie LLMy działają na procesorach graficznych, które ciągle muszą odczytywać i zapisywać dane do VRAM. Żeby działało to jakkolwiek wydajnie cały model i cache musi zmieścić się w VRAM. Dlatego żeby odpalić przyzwoity model trzeba mieć w cholerę pamięci, a i tak dostaniemy maks kilkaset tokenów na sekundę, bo wymiana danych ma swoje ograniczenia.
Takie podejście jest konieczne, ze względu na to, że modele ciągle się zmieniają. Ten sam hardware może dzisiaj wspierać
Brutalny los czeka wszystkich kodojebców. Branża dogorywa i daję jej jeszcze 2 lata, gdzie zredukowanych zostanie 90% kodojebców względem czasów eldorado.
Czy może ktoś podpowiedzieć mi, czy istnieje jakieś miejsce/grupa, gdzie można sensownie pogadać na tematy łączące wątki filozofio/sci-fi/ai? Jakieś grupy, spotkania? Tak, żeby trochę poruszyć umysł i pogadać z kimś na tematy, które dla mnie są szczególnie interesujące. Może nie umiem szukać, jestem starym chłopem. Dlatego będę wdzięczny jeśli jakiś dobry Miras/Mirabelka podzieli się swoją wiedzą.
@GrammarNazi: pogadać? Nie. Ale polecam kanał "wehikuł wyobraźni" Marka Żelkowskiego, na YT. Jeżeli lubisz sci-fi i filozofię to idealna propozycja. Ma też kanały poboczne.
Tak dawno nie pisałem nic o programowaniu, że w sumie coś napisze. Miałem takie 3 miesiące że zastępowałem szefa, na zasadzie - przestałem kodzić i ogarniałem spotkania itd. Full time job jak się okazało.
No i najgorsze - szef wrócił i połowa osób nadal do mnie pisze (testerzy np.) bo 'odpisuje'. Szef ogarnia dziecko, wiec co drugi dzień 'ej mozesz wbic na calla bo ja musze dzisiaj z Marcinkiem zostac'. A ja
It was never really a battle for me to win, it was an eternal dance And like a dance, the more rigid I became, the harder it got The more I cursed my clumsy footsteps, the more I struggled So I got older and I learned to relax And I learned to soften and that dance got easier ;)
Patrząc na to jak ludzie ślepo wierzą w informacje wysrywane przez LLMy (zwane również AI), nawet w dziedzinach, w których teoretycznie ci ludzie są bardzo ogarnięci, odpowiedź na istnienie boga nasuwa się sama ( ͡°( ͡°͜ʖ( ͡°͜ʖ͡°)ʖ͡°) ͡°)
@Wykopek_Jeden:tak wprowadzają, i teraz w sumie pracownicy powoli się zastanawiają czy mogą wysłać swojego bota na te rozmowy, skoro druga strona używa takie rozwiązania xD
@BlackpillMonster: Chłop chyba zapomniał o podstawowej zasadzie, że takie gównokursy/certyfikaty robi się za hajs z kołchozowego budżetu właśnie do tych celów przeznaczonego, a po tym bóldupieniu wnioskuję, że przewalił swoje 3k XDD
W sumie też miałem taki pomysł, aby stworzyć app gdzie kilka LLMs rozmawiają ze sobą gdzie każdy ma inny system prompt i aby razem wspólnie doszli do jednego zdania, ale ten project jest o wiele lepszy: https://github.com/nex-crm/wuphf
btw: posłuchajcie filmiku, nawet nie wiem czy ten narrator to AI czy prawdziwy człowiek xD
Trzymajcie kciuki Mirki, zaczynam nową pracę w poniedziałek, 29k b2b z wolnymi dniami. ( ͡°͜ʖ͡°) Długo szukałem, bo pół roku, ale w końcu siadło, teraz będę się trzymał tej pracki póki AI nie wygryzie xD #pracait
Strasznie irytujący jest wysyp vibe coderów nazywających się programistami. Lata stracone na naukę, studia, a obecnie musisz konkurować z Julką co nie wie czym jest int, ale wysrała kilka aplikacji z claude code.
Pora na przerwę w januszexie, a na daily znowu dynamiczny scrum master pyta co mnie blokuje. Blokuje mnie to, że robimy bezsensownego ficzera dla klienta, który i tak z tego nie skorzysta, ale musimy udawać, że jesteśmy agilowi xD Złudzenie kontroli w IT to jest jakiś wyższy poziom abstrakcji.
@Palinek: Płaco? Płaco. Nie ma co zadawać pytań, ani podskakiwać. Zrobić jak najwięcej jak najmniejszym nakładem sił i wystawić fakturkę.Pieniążki nie śmierdzą. (⌐͡■͜ʖ͡■)
#ai #machinelearning #programowanie #llm
Piszę głównie o Ai
#programowanie #sztucznainteligencja