Zastanawiam się, czy by nie kupić sobie 64GB RAMu do mojego złoma, tylko po to, żeby mieć porządny, lokalny, open-source model AI. Podobno Mistral 8x7B jest pomiędzy GPT 3.5, a GPT 4. No i jest całkowicie odcenzurowany, można modyfikować i co jeszcze.
I teraz pytanie: mam GTXa 1060 i I5-6700k. Jest jakiś wykres mówiący, jak dobrze mi to pójdzie? xD Wcześniej myślałem, że oprócz trenowania, to używanie też korzysta głównie z karty graficznej, a teraz widzę że jednak RAM.
@Kamero: Mi na laptopie MacBook Pro M2 64GB wszystkie te modele śmigają całkiem znośnie i generują tekst z szybkością bliską szybkości czytania. Największy, który uruchomiłem to LLAMA2:70b. Trochę żałuję, że przycebuliłem i nie kupiłem wersji 128GB, ale na 64GB też daje radę. Polecam ollama.ai i CodeGPT do IntelliJ.
@Kamero: stary...ty już sobie wybrałeś model językowy a frontend jaki? Na czym chcesz mieć serwer? Na koboldzie? Czy może z jakiemś faraday'em się bawić? Tak jak kolega wyżej napisał o karcie graficznej, dla nowych modeli jezykowych i ogólnie całe modele szybciej chodzą "osadzone" w VRAM grafy niźli ram
Tak właściwie to co się tu o------o przez ostatnie 2 lata, że Lando od bohatera wykopków przeszedł do roli największego nemesis? Wystarczyło trochę przycisnąć Maxa? #f1
Podobno Mistral 8x7B jest pomiędzy GPT 3.5, a GPT 4. No i jest całkowicie odcenzurowany, można modyfikować i co jeszcze.
I teraz pytanie: mam GTXa 1060 i I5-6700k. Jest jakiś wykres mówiący, jak dobrze mi to pójdzie? xD Wcześniej myślałem, że oprócz trenowania, to używanie też korzysta głównie z karty graficznej, a teraz widzę że jednak RAM.
#openai #chatgpt #ai #sztucznainteligencja #informatyka #it #programowanie #opensource