Czy skalowanie modeli językowych to ślepa uliczka? [EN]
Według niektórych specjalistów modele językowe takie jak GPT nigdy nie przekroczą pewnego poziomu ponieważ będzie brakować materiału na którym mogą trenować. Tak więc zwiększenie parametrów ze 175 miliardów w GPT-3 do 100 bilionów w GPT-4 nie da zapowiadanego skoku technologicznego.
tos-1_buratino z- #
- #
- #
- #
- #
- 2
Komentarze (2)
najlepsze
Czy 3 latkowi ładujemy do głowy 175 miliardów parametrów czy 100 bilionów?
Czy może 3 latek ma ich zaledwie kilka tysięcy, które umożliwiają naśladownictwo czy interakcję ze światem zewnętrznym?
Nie wiem co masz na myśli z ładowaniem do głowy 175 miliardów parametrów. Bo raczej by chodziło o to, że w głowie dziecka znajduje się 175 miliardów czegoś co można opisać za pomocą tych 175 miliardów parametrów. Problem w tym, że sieci neuronowe mózgu nijak w swoim