#informatyka #ai #chatgpt #sztucznainteligencja Mircy, hostuje ktoś sobie LLMa na lokalnym serwerze i podzieli się jakimś sensowym setupem? Chodzi mi głównie o nieskrępowane odpowiedzi na prompty i znalezienie partnera do dyskusji, który nie będzie się bał pisać brzydkich rzeczy.
@odysjestem: hardware: jeśli interesują cię tylko chatboty to zastanowiłbym się nad AMD Strix Halo (mini pc albo laptop) ze zunifikowaną pamięcią albo refurb Maca Studio z M2 Ultra. software: zainstaluj sobie LM Studio a w nim poszukaj modelu Gemma3:4b (jak masz 16GB ram albo 8GB vram to pójdzie bez problemu). Model jest ocenzurowany, ale dobrze radzi sobie z językiem polskim. Sprawdź szybkość i poziom rozmowy. Jeśli zależy ci na konwersacji
@odysjestem: Sprzęt się prawdopodobnie nada, ale uzbrój się w cierpliwość. To co pisałem odnośnie software i jakich modeli spróbować pozostaje w mocy (biorąc pod uwagę na jaki sprzęt się decydujesz): trzymaj się raczej małych modeli (poniżej 5B) i sprawdź jeszcze Qwen3:4b (z wyłączonym "myśleniem", bo szybciej). Wg mnie najmądrzejszy model w "swojej klasie". A, o te konkretnie cię interesujące modele po prostu zapytaj googla, ale na testach jednego LLMa na
Mircy, hostuje ktoś sobie LLMa na lokalnym serwerze i podzieli się jakimś sensowym setupem?
Chodzi mi głównie o nieskrępowane odpowiedzi na prompty i znalezienie partnera do dyskusji, który nie będzie się bał pisać brzydkich rzeczy.
software: zainstaluj sobie LM Studio a w nim poszukaj modelu Gemma3:4b (jak masz 16GB ram albo 8GB vram to pójdzie bez problemu). Model jest ocenzurowany, ale dobrze radzi sobie z językiem polskim. Sprawdź szybkość i poziom rozmowy. Jeśli zależy ci na konwersacji