[aptitude]

Wow, chyba się zakochałem: https://huggingface.co/EleutherAI/gpt-neo-125m
Wytrenowałem ten model do jednego zadania! Generowania bezpiecznego hasła i jakie hasło oczekuje sam user!

Troche podkradłem dataset z pierwszego treningu modelu RWKV, ale na gpt-neo nawet lepiej działa. Od czasu do czasu pokazuje "**************", gdzie RWKV nigdy takiego problemu nie miało w sumie... ciekawe..
mój data set: https://gist.github.com/skorotkiewicz/4f1b4dbbde61312423d5710e1314c825 (wygenerujcie za pomocą mojego skryptu)
python makedata.py jsonpasswordtrain.jsonl 5000 4096

makedata.py jest w RWKV https://github.com/BlinkDL/RWKV-LM (v5)

fascynujące trochę, jak łatwo można stworzyć włany mały model tylko do jednego celu! <3 ale RNN do generowania haseł, jest lepszy od LMM. a moje GPT-neo do haseł to tylko test just for fun.

może CTON dodam do gpt-neo jeszcze? :3 https://github.com/davidesantangelo/cton
dodałem CTON do swojego lokalnego LLM, teraz wszystko chce tworzyć za pomocą CTON xD

#programowanie #sztucznainteligencja

[aptitude]

to mój głowny system prompt dla lokalnego LLM:

js
export const NORMAL_PERSON_V2 = `You are a helpful assistant with a natural, conversational communication style.

COMMUNICATION GUIDELINES you will be penalized if you do not follow them:

[aptitude]

@aptitude: Muszę przyznać, zabawa z LLM + fine-tuning jest nawet fajniejsza zabawa niż stremowanie ETS2 przez 30h na twichu xD