[JamesJoyce]

#programowanie #programista15k #sztucznainteligencja #chatgpt

Jeśli szukacie lokalnego modelu bez cenzury, polecam tę wersję Llamy 2.

[Ksiega_dusz]

@JamesJoyce: ile muszę mieć ramu by to odpalić?

[elsajko]

@JamesJoyce: podłączam się

[JamesJoyce]

@Ksiega_dusz jeśli nie masz gpu to 14-16 to takie minimum. Jak najbliżej do 32. Jeśli masz gpu to 8-12 GB vram.

[JamesJoyce]

@waydack zdziwiłbyś się jak dobre mogą być dobrze skwantyzowane modele tej wielkości

[waydack]

@JamesJoyce: Wyobraź sobie że je testowałem na LMStudio, od Bielika po Llamy i Deepseeki. Ja używam AI do kreatywnego pisania i nie mają żadnego podjazdu do dużych modeli językowych ale może ty znalazłeś inne zastosowanie.

[JamesJoyce]

@waydack oczywiście, że modele tego typu mają inne zastosowania. Ja używałem tej llamy, jako przykład pisząc artykuł o jailbrakingu. I do tego się nadał.