Pobrałem sobie #llama2 i zadałem mu pytanie o kod do szukania liczb pierwszych. 13b sobie średnio poradził, a z 70b dpuściłem, tak mi kompa zwiesił. #chatgpt gpt w sekundę zwraca kod. Albo to jest tak zasobożerne, albo coś źle robię. #programowanie
@Aqvis: to prawda jest, ale zrobiłem też jeden błąd. Program analizuje 2048 ostatnich znaków (lub słów) i zadając mu pytanie nieudolnie brnął w to w kolejnych pytaniach. Dopiero usunięcie i zadanie mu poprawnego pytania dało mi porządany rezultat. Odpowiedział w ciągu 5 minut (70b) i kilku sekund (13b), ale dał poprawne rozwiązanie.
@youmimicanski: takie modele odpala się na GPU aby to szybko działało. Jak masz GPU z serii 90 albo coś typowo do Ai to możesz się tym pobawić. Na CPU to raczej nie ma sensu odpalać, za wolno. Sprawdź sobie Google bard, coś innego niż Chatgpt
@kutafonixor: mam 3090. W LM Studio 70b puszczam na CPU+GPU+RAM z integry i idzie. Powoli, ale idzie. A mam też WEBUI do lokalnego pythona, gdzie puszczam 13b na samym GPU+zintegrowanym GPU i tam fajnie śmiga. Jakbym miał pewność, że w SLI mi odpali 70B na dwóch 3090, to bym jedną dokupił, ale sam model waży 160 GB, więc słabo to widzę.
Na wydajniejsze modele przyjdzie jeszcze poczekać. Możesz sobie sprawdzić Vicuna, ten model 13b działa jak Chatgpt i jeszcze kilka miechów temu był najwydajniejszym modelem open source. Teraz pewnie są lepsze
Wpis z mikrobloga
Skopiuj link
Skopiuj link