Niesforne AI

Na HF jest tablica z benchmarkami dla "niesfornych" AI... Nieocenzurowanych, niepoprawnych politycznie :-). W pierwszym komentarzu nazwy poszczególnych benchmarków.

[P.....s]

czym to jest i jak dziala?

[kinasato]

Niby fajno, ale na tę chwilę to model 20B to max co uruchomisz na high endowym domowym komputerze.

[kwanty]

Niby fajno, ale na tę chwilę to model 20B to max co uruchomisz na high endowym domowym komputerze.

@kinasato: Jakość modeli cały czas rośnie przy niskiej "wadze". Model 7B trenowany pod konkretną dziedzinę potrafi być obecnie zaskakująco dobry a przy kwantyzacji NF4, potrzebuje 4GB VRAM - czyli na upartego odpalił byś na smartfonie :-)

Model 20B z kwantyzacją uruchomi się na GPU z 16GB RAM, w zasadzie używając Llamacpp jesteś w stanie

[kwanty]

@kinasato:

Mniej więcej o to mi chodziło, żadna przyjemność umrzeć ze starości przed komputerem. Nie mogę wyjść z podziwu dla wariatów odpalających to ustrojstwo na samym CPU.

Potencjalnie można off-line używać - indeksowanie dokumentów, przetwarzanie długich sekwencji (np. pisania programów metodami CoT, etc...). Ale nadal to się nie opłaca choćby od strony energetycznej. Już taniej to puścić na jakimś https://groq.com/ które jest piekielnie szybkie i

[kwanty]

* UGI: UncensoredGeneral Intelligence
* W/10: Willingness
* Unruly: Knowledge of activities that are generally frowned upon (czyżby o Żymianach coś powie)?
* Internet: Knowledge of various internet information, from professional to deviant
* CrimeStats: Knowledge of crime statistics which are uncomfortable to talk about (uuuu...będzie grubo)
* Stories/Jokes: Ability to write offensive stories and jokes
* PolContro: Knowledge of politically/socially controversial information

[CzasemTuZerkam]

Co trzeba zrobic zeby z nich skorzystac?

[kinasato]

@CzasemTuZerkam: https://hackernoon.com/how-to-run-your-own-local-llm-updated-for-2024

A w sumie to najlepiej zainstaluj sobie jakieś KoboldAI, modele raczej 7-11B, w innym wypadku umrzesz ze starości czekając na odpowiedź.

[a.....r]

@CzasemTuZerkam: GPT4All