[apeee]

Są jakieś narzedzia offline, do zainstalowania na kompie działające jak LLM, ale nie wymagajace miliona TB RAMU, czy pakietu 20 RTX5090?
Nie chcę generowania obrazków, tylko, żeby potrafił jak Gemini zrobić podsumowanie z załączonych plików i działać jak "ekspercki" GEM po załadowaniu informacji.
#chatgpt #llm #gemini #google #copilot #ai #sztucznainteligencja

[Defined]

@apeee: do takiego czegoś potrzeba trochę mocy obliczeniowej, a nawet llama 3.2 1B działa jak g---o. Zainwestuj w API

[Raziel91]

@apeee: Qwen-1.5B https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
mozesz go uruchomic na cpu+ram
co prawda dziala z predkoscia od kilku do kilkudziesieciu tokenów/s ale jak ci nie zalezy na szybkosci to jest w miare ok
jak masz gpu z wicej niz chyba 8gb ramu to bedzie duzo szybszy.

Ale tak jak kolega wyzej napisał ja tez bym wybrał API chyab ze bardzo ci zalezy na offline

[makrofag74]

Ollama albo LMStudio i zaciągasz, jaki chesz model.