Wpis z mikrobloga

Dlaczego mówi się, że nowa llama 3.1 405B miażdży konkurencje skoro ma 405 miliardów parametrów, a chat gpt 4o szacuje się na 100 bilionów parametrów? Pomijam oczywiście sprawę open-source, bo jest to wielkim krokiem milowym w AI. Pytam stricte o parametry.

#ai #programowanie #kiciochpyta
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@c3sunn: I w LLM oznacza "intelligent" ( ͡º ͜ʖ͡º) OpenAI ma podejśćie wincyj wszystkiego - https://openai.com/index/scaling-laws-for-neural-language-models/

W praktyce liczba parametrów to jedno, ale jeśli istnieje silna korelacja pomiędzy tymi parametrami, to może je sobie w buty wsadzić. Podobnie jeśli wagi w sieci mają wartości bliskie zero. To tak na szybko okiem amatora.

Z drugiej strony, im więcej parametrów tym droższe jest wytrenowanie a potem utrzymanie
  • Odpowiedz