[yras8]

#python #machinelearning

Cześć, obecnie robię trochę rzeczy z ML i stworzyłem model LTSM do trenowania modelu w celu rozpoznawania czynności, takich jak chodzenie lub bieganie. Czytałem, że LTSM ma przewagę nad RNN z powodu rozwiązania problemu znikającego gradientu.

Czy mógłby ktoś mi to wyjaśnić na prostym przykładzie? Dzięki

[n0c0Mpr3h3nD]

@yras8: RNN ma gradient przez iloczyn a LSTM ma poprzez sumę, więc dla dużych wartości RNN wybuchnie, a dla bliskich zera będzie już całkiem zerem. LSTM ma funkcje long term ktora patrzy jakie parametry dają pewność że się nie wyzeruje.
Zobacz https://medium.com/datadriveninvestor/how-do-lstm-networks-solve-the-problem-of-vanishing-gradients-a6784971a577