Niesforne AI
![Niesforne AI](https://wykop.pl/cdn/c3397993/d80128ce4796b3eba3e7f64875f806729b3e3489a918c927fbb7bf8a2e9597fe,w300h194.png)
Na HF jest tablica z benchmarkami dla "niesfornych" AI... Nieocenzurowanych, niepoprawnych politycznie :-). W pierwszym komentarzu nazwy poszczególnych benchmarków.
![kwanty](https://wykop.pl/cdn/c3397992/kwanty_iwN34YoCx1,q52.jpg)
- #
- #
- #
- #
- #
- 19
- Odpowiedz
Na HF jest tablica z benchmarkami dla "niesfornych" AI... Nieocenzurowanych, niepoprawnych politycznie :-). W pierwszym komentarzu nazwy poszczególnych benchmarków.
Komentarze (19)
najlepsze
@kinasato: Jakość modeli cały czas rośnie przy niskiej "wadze". Model 7B trenowany pod konkretną dziedzinę potrafi być obecnie zaskakująco dobry a przy kwantyzacji NF4, potrzebuje 4GB VRAM - czyli na upartego odpalił byś na smartfonie :-)
Model 20B z kwantyzacją uruchomi się na GPU z 16GB RAM, w zasadzie używając Llamacpp jesteś w stanie prawie dowolny model odpalić - na GPU zrobi się offloading wskazanych warstwa a reszta będzie procesowana przez CPU wykorzystując zwykły RAM. Oczywiście będzie
Potencjalnie można off-line używać - indeksowanie dokumentów, przetwarzanie długich sekwencji (np. pisania programów metodami CoT, etc...). Ale nadal to się nie opłaca choćby od strony energetycznej. Już taniej to puścić na jakimś https://groq.com/ które jest piekielnie szybkie i
* W/10: Willingness
* Unruly: Knowledge of activities that are generally frowned upon (czyżby o Żymianach coś powie)?
* Internet: Knowledge of various internet information, from professional to deviant
* CrimeStats: Knowledge of crime statistics which are uncomfortable to talk about (uuuu...będzie grubo)
* Stories/Jokes: Ability to write offensive stories and jokes
* PolContro: Knowledge of politically/socially controversial information
A w sumie to najlepiej zainstaluj sobie jakieś KoboldAI, modele raczej 7-11B, w innym wypadku umrzesz ze starości czekając na odpowiedź.