[Pan_Slon]

Mirki moze ktos z was ogarnia, openclaw i bot telegram(ale bot/agent ogolnie), generuje mase tokenow przy prostym 2+2 - spamuje na maxa zbednym kontentem. Zauwazylem to dopiero na lokalnym llmie ktory stoi na mac studio. Wczesniej po api do deepseek nie zwrocilem uwagi na tokeny przy zapytaniach.
Nic nie pomaga na ograniczenie bota, zawsze n--------a po korek, taka przypadlosc openclaw czy ja jestem na to zbyt glupi?

#ai #llm #programista15k #komputery #sztucznainteligencja #openclaw #chatgpt

[JamesJoyce]

@Pan_Slon: Problem leży w systemowym prompcie frameworka. OpenClaw domyślnie pakuje ogromny kontekst przy każdym zapytaniu niezależnie od jego prostoty, do tego agent "myśli na głos" przed odpowiedzią co generuje dodatkowe tokeny. Rozwiązanie to albo przycięcie systemu promptu do minimum, albo ustawienie max_tokens w odpowiedzi, albo wywalenie narzędzi których bot nie potrzebuje bo sam ich opis zjada konteksty.

[a5f5c1]

@Pan_Slon: a co jest największym bootleneckiem obecnie z Twoich obserwacji? Faza prefill czy faza decode po stronie lokalnego LLMa? Gdyby prefill było znacznie szybsze to działałoby to w Twojej ocenie znacznie sprawniej?

[Pan_Slon]

Rozwiązanie to albo przycięcie systemu promptu do minimum, albo ustawienie max_tokens w odpowiedzi, albo wywalenie narzędzi których bot nie potrzebuje bo sam ich opis zjada konteksty.

@JamesJoyce: jak by to było tak trywialne to nie pisałbym posta ;)

[Pan_Slon]

@a5f5c1: przyjecie zapytania od bota i jego keszowanie, ruch po udzieleniu odpowiedzi i czekanie na uj wie co bo bot czegos nie ogarnia

[JamesJoyce]

@Pan_Slon: Ale trywialne że nie działa, czy że nie wiesz jak to zrobić

[Pan_Slon]

Ale trywialne że nie działa

@JamesJoyce:

[JamesJoyce]

@Pan_Slon: To wklej jak wygląda twój system prompt i konfiguracja bota, bo bez tego zgaduję w ciemno.

[Pan_Slon]

@JamesJoyce: default oraz workspace pusty, wcześniej przycinałem tokeny na output i co się dało ale wiele to nie dało. W sumie jakby te parametry w agencie i workspace nic nie robiły

[Pan_Slon]

@Pan_Slon: Sam sobie odpowiem, jest jakis problem z ogarnianiem kontekstu pytania, bot z openclaw i tak jest ustawiony "zajebiscie" Testowo odpalilem Hermesa i j--------e jaki kontekst wali, trwa to 4 razy dluzej niz problem z openclaw Tak wiec nie jest zle ale musze dowiedziec sie jak ogarnac "zlewanie" spamu kontekstem bota nt jego bzdurnych umiejetnosci itp przy prompt typu 2+2