Lokalny LLM w 2 liniach kodu - Gemini Nano - [UW-TEAM]
Nowe API dostępne w Google Chrome umożliwia programistom wysyłanie zapytań do lokalnego modelu językowego (LLM). Mowa o Gemini Nano. To rozwiązanie działa w pełni lokalnie, bez wysyłania jakichkolwiek danych do chmury.
POPCORN-KERNAL z- #
- #
- #
- #
- #
- #
- 8
- Odpowiedz
Komentarze (8)
najlepsze
Meh.
Modele są różnej wielkości, więc możesz dopasować do sprzętu jaki posiadasz. Często rozmiarem dopierany pod popularne pojemności, tj. 4, 6, 8, 10, 16 etc.
Przykładowo AMD RX6800 kosztuje ok 1800 zł i ma 16GB VRAM co w zupełności wystarczy do uruchomienia znacznej części modeli. Nie musisz mieć też do tego