[MaszynaTrurla]

czy sieci neuronowe zapominają z czasem tego czego się nauczyły?
#machinelearning

[twojStaryJebqnany]

@KomendaGlownaPolicji: A co zabiłeś ją po tym jak ją wydoili?

@MaszynaTrurla: nope, jeżeli nie będziesz jej modyfikował.

[fizzly]

@MaszynaTrurla: jeśli neurony mają sklerozę, to tak.

[chlodna_kalkulacja]

@MaszynaTrurla: Nie, ale teoretycznie można je obdarzyć taką cechą. Tylko pytanie brzmi, po co?

[KomendaGlownaPolicji]

@twojStaryJebqnany: a to dobra, nie bede jej modyfikowal. dzieki

[MaszynaTrurla]

@twojStaryJebqnany @chlodna_kalkulacja
czyli jakby się mogły uczyć ciągle nowych rzeczy to zaczną zapominać?

[chlodna_kalkulacja]

@MaszynaTrurla: No jeśli obdarzysz go zapominaniem, to te słabe skojarzenia znikną, a mocne będą utrwalane. Tylko nie rozumiem jaki by to miało sens.

[twojStaryJebqnany]

Skoro normalnie sieć neuronowa wybierze akcje A ale nauczysz ją żeby wykonywała akcje B zamiast A to można powiedzieć, że 'zapomniała' akcji A.

[metatrotro]

@MaszynaTrurla: co rozumiesz przez "zapominają"? Sieci neuronowe nie mają pamięci jak ludzie. Mają pewne wagi na połączeniach. Te wagi mogą się zmieniać przy kolejnych treningach powodując np. że niektóre wyniki się pogorszyły (ale średnia odchyleń zmalała), ale nie wiem czy to rozumiesz jako "zapominanie"

[JebawczanRysionu]

@MaszynaTrurla: Po każdej ewaluacji to się zmienia. Można powiedzieć że zapominają jeśli jest ten model nadal trenowany

[arysto2011]

@MaszynaTrurla: możesz zrobić pruning i usunąć wagi z węzłów o najmniejszym znaczeniu. To jakby efekt zapominania części informacji. Celem pruningu jest zmniejszenie rozmiarów sieci neuronowej z zachowaniem jej dokładności.

[Bejro]

@MaszynaTrurla: Pewnie chodzi Ci o uczenie sieci nowych zadań tak aby te stare wciąż były zapamiętane. Przejrzyj sobie terminy: learning without forgetting, incremental learning, curriculum learning i może też meta learning. Jednak takie podejście służące maksymalizacji generalizacji jest raczej rzadko spotykane. Zazwyczaj po prostu uczy się wszechstronny model na całym zestawie docelowych tasków i nie ma wtedy mowy o zapominaniu a finalnie model i tak jest równoważny.