#informatyka #ai #chatgpt #sztucznainteligencja Mircy, hostuje ktoś sobie LLMa na lokalnym serwerze i podzieli się jakimś sensowym setupem? Chodzi mi głównie o nieskrępowane odpowiedzi na prompty i znalezienie partnera do dyskusji, który nie będzie się bał pisać brzydkich rzeczy.
@odysjestem: hardware: jeśli interesują cię tylko chatboty to zastanowiłbym się nad AMD Strix Halo (mini pc albo laptop) ze zunifikowaną pamięcią albo refurb Maca Studio z M2 Ultra. software: zainstaluj sobie LM Studio a w nim poszukaj modelu Gemma3:4b (jak masz 16GB ram albo 8GB vram to pójdzie bez problemu). Model jest ocenzurowany, ale dobrze radzi sobie z językiem polskim. Sprawdź szybkość i poziom rozmowy. Jeśli zależy ci na konwersacji
Mircy, hostuje ktoś sobie LLMa na lokalnym serwerze i podzieli się jakimś sensowym setupem?
Chodzi mi głównie o nieskrępowane odpowiedzi na prompty i znalezienie partnera do dyskusji, który nie będzie się bał pisać brzydkich rzeczy.
software: zainstaluj sobie LM Studio a w nim poszukaj modelu Gemma3:4b (jak masz 16GB ram albo 8GB vram to pójdzie bez problemu). Model jest ocenzurowany, ale dobrze radzi sobie z językiem polskim. Sprawdź szybkość i poziom rozmowy. Jeśli zależy ci na konwersacji