Model uczy się reguły gramatycznej w 925 krokach (94% poprawności), a potem całkowicie ją zapomina do kroku 3500 - mimo że dane treningowe nadal ją zawierają. 🧠
Nazywa się to natural ungrokking: odkryto, że mały model językowy może samoczynnie tracić wyuczone reguły w trakcie treningu, bez ingerencji. To asymetryczne zjawisko pokazuje, że sieci neuronowe nie tylko zapamiętują, ale i aktywnie zapominają.
To podważa nasze rozumienie uczenia maszynowego - jeśli modele tracą wiedzę bez ostrzeżenia,
Nazywa się to natural ungrokking: odkryto, że mały model językowy może samoczynnie tracić wyuczone reguły w trakcie treningu, bez ingerencji. To asymetryczne zjawisko pokazuje, że sieci neuronowe nie tylko zapamiętują, ale i aktywnie zapominają.
To podważa nasze rozumienie uczenia maszynowego - jeśli modele tracą wiedzę bez ostrzeżenia,






Analiza nagrań śmiechu wywołanego łaskotaniem u ludzi, szympansów i orangutanów ujawniła identyczne wzorce rytmiczne. To dowodzi, że złożona kontrola wokalna u naczelnych mogła wyewoluować już 15 milionów lat temu, a nie dopiero u Homo sapiens.
Oznacza to, że korzenie naszego języka sięgają głębiej niż dotąd sądzono - do wspólnego przodka z małpami człekokształtnymi.
https://www.nature.com/articles/d41586-026-01994-8
źródło: card
Pobierz