[youmimicanski]

Pobrałem sobie #llama2 i zadałem mu pytanie o kod do szukania liczb pierwszych. 13b sobie średnio poradził, a z 70b dpuściłem, tak mi kompa zwiesił. #chatgpt gpt w sekundę zwraca kod. Albo to jest tak zasobożerne, albo coś źle robię. #programowanie

[Aqvis]

@youmimicanski jest zasobozerne

[Aqvis]

@youmimicanski poza tym chat gpt nie korzysta z twojej mocy obliczeniowej, tylko wszystko jest obliczane na serwerze a ty jedynie wysylasz zapytanie

[youmimicanski]

@Aqvis: to prawda jest, ale zrobiłem też jeden błąd. Program analizuje 2048 ostatnich znaków (lub słów) i zadając mu pytanie nieudolnie brnął w to w kolejnych pytaniach. Dopiero usunięcie i zadanie mu poprawnego pytania dało mi porządany rezultat. Odpowiedział w ciągu 5 minut (70b) i kilku sekund (13b), ale dał poprawne rozwiązanie.

[youmimicanski]

@Aqvis: mam Llama2 na swoim komputerze lokalnie. Chodziło mi o porównanie dwóch rozwiązań. ChataGPT i Llama 2.

[kutafonixor]

@youmimicanski: takie modele odpala się na GPU aby to szybko działało. Jak masz GPU z serii 90 albo coś typowo do Ai to możesz się tym pobawić. Na CPU to raczej nie ma sensu odpalać, za wolno. Sprawdź sobie Google bard, coś innego niż Chatgpt

[youmimicanski]

@kutafonixor: mam 3090. W LM Studio 70b puszczam na CPU+GPU+RAM z integry i idzie. Powoli, ale idzie. A mam też WEBUI do lokalnego pythona, gdzie puszczam 13b na samym GPU+zintegrowanym GPU i tam fajnie śmiga. Jakbym miał pewność, że w SLI mi odpali 70B na dwóch 3090, to bym jedną dokupił, ale sam model waży 160 GB, więc słabo to widzę.

[kutafonixor]

Na wydajniejsze modele przyjdzie jeszcze poczekać. Możesz sobie sprawdzić Vicuna, ten model 13b działa jak Chatgpt i jeszcze kilka miechów temu był najwydajniejszym modelem open source. Teraz pewnie są lepsze