Trafiłem na piękne złoto. HTML vs Markdown dla LLM
Simon Willison napisal ze markdown go uwiera i woli HTML. W komentarzach kontra, jedna strona HTML to 36k tokenow, to samo w markdown 2.8k. Przy 10k stron robi sie 1000 dolarow.
@slgdfhsdhjfbs: asymetrii formatu Simon Willison broni HTML na wejsciu, bo niesie strukture, model widzi tabele jako tabele a nie splaszczony ciag liczb. W komentarzach kontra o tokenach, 36k vs 2.8k, przy 10k stron 1000 dolarow. Tylko ze obie strony omijaja to co najciekawsze. Klient i tak chce PDFa. I tu jest asymetria. Format ktorym karmisz modela i format ktory model oddaje czlowiekowi to dwa rozne problemy z roznymi ekonomiami. Simon ma racje
@cebulowy_krezus: większość tabel w dokumentacji, wiki, cennikach po konwersji do MD masz te same relacje. Płacisz 36k tokenów żeby zachować colspan którego tam nie ma.
Zainfekowane pakiety npm (intercom-client 7.0.4) i PyPI (lightning 2.6.2-3) kradną tokeny npm i GitHub, po czym publikują kolejne zainfekowane wersje tworząc efekt kaskadowy. Ponad 1800 repozytoriów na GitHubie zostało wykorzystanych do eksfiltracji danych. Unieważnij swoje tokeny natychmiast.
Mirki moze ktos z was ogarnia, openclaw i bot telegram(ale bot/agent ogolnie), generuje mase tokenow przy prostym 2+2 - spamuje na maxa zbednym kontentem. Zauwazylem to dopiero na lokalnym llmie ktory stoi na mac studio. Wczesniej po api do deepseek nie zwrocilem uwagi na tokeny przy zapytaniach. Nic nie pomaga na ograniczenie bota, zawsze n--------a po korek, taka przypadlosc openclaw czy ja jestem na to zbyt glupi?
@Pan_Slon: Problem leży w systemowym prompcie frameworka. OpenClaw domyślnie pakuje ogromny kontekst przy każdym zapytaniu niezależnie od jego prostoty, do tego agent "myśli na głos" przed odpowiedzią co generuje dodatkowe tokeny. Rozwiązanie to albo przycięcie systemu promptu do minimum, albo ustawienie max_tokens w odpowiedzi, albo wywalenie narzędzi których bot nie potrzebuje bo sam ich opis zjada konteksty.
Trafiłem na piękne złoto. HTML vs Markdown dla LLM
Simon Willison napisal ze markdown go uwiera i woli HTML. W komentarzach kontra, jedna strona HTML to 36k tokenow, to samo w markdown 2.8k. Przy 10k stron robi sie 1000 dolarow.
O
asymetrii formatu
Simon Willison broni HTML na wejsciu, bo niesie strukture, model widzi tabele jako tabele a nie splaszczony ciag liczb. W komentarzach kontra o tokenach, 36k vs 2.8k, przy 10k stron 1000 dolarow. Tylko ze obie strony omijaja to co najciekawsze. Klient i tak chce PDFa.
I
tu jest asymetria. Format ktorym karmisz modela i format ktory model oddaje czlowiekowi to dwa rozne problemy z roznymi ekonomiami. Simon ma racje