y.....8
#python #machinelearning

Cześć, obecnie robię trochę rzeczy z ML i stworzyłem model LTSM do trenowania modelu w celu rozpoznawania czynności, takich jak chodzenie lub bieganie. Czytałem, że LTSM ma przewagę nad RNN z powodu rozwiązania problemu znikającego gradientu.

Czy mógłby ktoś mi to wyjaśnić na prostym przykładzie? Dzięki
0
  • Najlepsze
  • Wszystkie komentarze
n0c0Mpr3h3nD
@yras8: RNN ma gradient przez iloczyn a LSTM ma poprzez sumę, więc dla dużych wartości RNN wybuchnie, a dla bliskich zera będzie już całkiem zerem. LSTM ma funkcje long term ktora patrzy jakie parametry dają pewność że się nie wyzeruje.
Zobacz https://medium.com/datadriveninvestor/how-do-lstm-networks-solve-the-problem-of-vanishing-gradients-a6784971a577
1