Lokalny LLM w 2 liniach kodu - Gemini Nano - [UW-TEAM]

Nowe API dostępne w Google Chrome umożliwia programistom wysyłanie zapytań do lokalnego modelu językowego (LLM). Mowa o Gemini Nano. To rozwiązanie działa w pełni lokalnie, bez wysyłania jakichkolwiek danych do chmury.

[J.....k]

Co to za p---------e xD Ile GPU by musiał mieć zapięte żeby to w tym tempie generowało i ile GB zająłby ten chrome xD
Meh.

[Czekolatka]

@Just_Piotrek: w sensie, ze co nie wierzysz w to co zobaczyłeś? Model ma ok 1,6GB a potrzebuje max 4GB vramu, większość dzisiejszych lapków i smartfonów bez problemu sobie radzi.

[Paczek_w_masle]

@Just_Piotrek: gpt4all - działa lokalnie i do tego szybko. Możesz wybrać jakie modelu użyjesz. Jest ich trochę, ciągle powstają nowe.
Modele są różnej wielkości, więc możesz dopasować do sprzętu jaki posiadasz. Często rozmiarem dopierany pod popularne pojemności, tj. 4, 6, 8, 10, 16 etc.

Przykładowo AMD RX6800 kosztuje ok 1800 zł i ma 16GB VRAM co w zupełności wystarczy do uruchomienia znacznej części modeli. Nie musisz mieć też do tego