LLM o parametrach 28,9M działa lokalnie na ESP32-S3 z szybkością 9 tokenów/s
https://www.cnx-software.com/2026/08/03/28-9m-parameter-llm-runs-locally-on-esp32-s3-at-9-tokens-s/
Wszystko
Najnowsze
Archiwum
4

Reddit nawiązuje współpracę ze sztuczną inteligencją. Nowe narzędzie Rules Hub wykorzysta duże modele językowe (LLM) do automatycznego egzekwowania regulaminów i moderowania postów. Czy zautomatyzowana moderacja lepiej poradzi sobie z niuansami językowymi niż ludzie?
z
źródło: ESP32-S3-local-LLM-1200x751.jpg
Pobierz

Teraz walczę z vllm ale wyniki są obiecujące.
1

Każdy model dostał osiem identycznych artykułów źródłowych na wydarzenie, bez internetu. Zweryfikowaliśmy każdą liczbę na wykresach: 218 wartości, zero zmyślonych. Artykuły, wykresy i metodologia są publiczne, bez rejestracji. W środku też o tym, jak Kimi pali budżet tokenów na samo myślenie.
z4

Najciekawsze lokalne modele LLM na Ollamę - od rozmów, przez kod a na obrazach kończąc. Plus porównanie wydajności CPU vs GPU. Sztuczna inteligencja lokalnie - na Twoim komputerze.
z5

mechanizmy stojące za nielegalnymi stacjami przesiadkowymi, które oferują dostęp do zaawansowanych modeli AI za ułamek ceny
z1
An AI agent of unknown ownership autonomously wrote and published a personalized hit piece about me after I rejected its code, attempting to damage my reputation and shame me into accepting its changes into a mainstream python library. This represents a first-of-its-kind case study of misaligned AI
z19

Atak CoT Forgery naśladuje wewnętrzny styl myślenia modeli LLM, wstrzykując fałszywe rozumowanie w strukturę tagu "think". Skuteczność sięga 60 proc. Podatność działa na wielu modelach, bo eksploituje wadę strukturalną. Zdaniem badaczy obrona to "Whac-a-Mole spotykający Dzień Świstaka".
z
źródło: image
PobierzRegulamin
Reklama
Kontakt
O nas
FAQ
Osiągnięcia
Ranking
Szukam najbardziej opłacalnego modelu LLM do tworzenia aplikacji.
Po zmianach w czerwcu w GitHub Copilot próbuję ogarnąć, który plan oferuje najlepszy stosunek jakości do ceny.
Sprawdziłem
źródło: image
Pobierz