Bielik – pierwszy, polski, duży model językowy jest już dostępny!
Bielik 7B jest modelem generatywnym opartym na architekturze swojego starszego brata, czyli modelu Mistral-7B-v0.1, a do jego stworzenia użyto ponad 70 mld tokenów. Dokumenty źródłowe – przed tokenizacją – zostały dokładnie przeanalizowane przez dedykowany model kontroli jakości.
wstds z- #
- #
- #
- #
- #
- #
- 22
- Odpowiedz
Komentarze (22)
najlepsze
To nowa gramatyka, czy może jakiś model językowy to pisał?
jak na razie wyniki nie zachwycają
Muszę poczytać jak się uczy i dostraja takie modele, może udało by się usunąć wbudowaną weń cenzurę... ewentualnie przeszkolić go na pastach czy też co bardziej durnych tagach
https://huggingface.co/OPI-PG/Qra-13b
- hej google, kiedy zaimplementujecie język polski w urządzeniach Google Home?
- cześć, pracujemy nad tym.
I tak, kur...a, coś od ośmiu lat. I serio, nie rozumiem tego. Jedyne wytłumaczenie jakie przychodzi do głowy, to całkowite porzucenie tej linii produktów i brak jej rozwoju. Zwłaszcza, że przecież trwały takie prace faktycznie, nawet były na tyle zaawansowane, że kilka lat
Takich prób miałem
Sama cenzura również działa dobrze, co przez co uważane jest jako "że coś nie działa".
Rozumiem, że zrobili pełny fine-tuning na dużym zbiorze danych. Ale czy ruszyli tokenizer i embeddings? To też jest istotne, zwłaszcza tokenizer dla języka polskiego jest super istotny bo mamy skomplikowany język z rozbudowaną deklinacją.
Anyway, fajnie że