[f.....6]

Mirki z #machinelearning. nie wiem, czy nie #!$%@?łem czegoś w odczytywaniu notacji, przeczytajcie więc to i powiedzcie, czy wszystko dobrze załapałem. Prosta sieć neuronowa z neuronami sigmoidalnymi.

Licząc pochodną z funkcji aktywującej, żeby użyć jej w delcie mam do pochodnej podłożyć wartość wyliczoną z wag i wartości neuronów z poprzedniej warstwy. A niie tą wartość, ale już po przepuszczeniu przez sigmoid. Innymi słowy, liczę f'(y), a nie f'(f(y)). wyjaśnienie: w jednym źródle były cholernie pomieszane oznaczenia i w końcu sam nie wiem, jak powinno być poprawnie
I drugie, jak mam już wszystko policzone i zmieniam wagi, to żeby mieć zmianę wagi mnożę deltę obecnego neuronu przez stałą uczenia i przez wartość wyjściową neuronu "z lewej" (z warstwy o niższym numerze). Czyli żeby policzyć deltę obchodzi mnie wyjście obecnego neuronu, ale już żeby policzyć zmianę wagi wyjście neuronów z poprzedniej warstwy.

Z góry dzięki za pomoc, męczą mnie te nadmiernie skomplikowane zapisy ( ͡° ʖ̯ ͡°)

[dziobaki_sa_jadowite]

@frogi16: https://youtu.be/mOmkv5SI9hU?t=6m47s chyba to Ci wyjaśni o co chodzi.

[f.....6]

@dziobaki_sa_jadowite: nie ma w tym filmie nic o tych dwóch zagadnieniach, nie zauważyłem w ogóle, żeby traktował o zmianie wag.

[dziobaki_sa_jadowite]

@frogi16: Ale przecież to jest dokładnie to co napisałeś, liczenie 'delty', do zmiany wag wystarczy zrobić Wk(t+1) = Wk(t)+n*delta(k). Tutaj jeszcze zasób który na pewno Ci to wyjaśni https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/

[f.....6]

@dziobaki_sa_jadowite: artykuły i książka, z których korzystam, oprócz współczynnika uczenia i delty korzystają też z sygnału wejściowego danego połączenia i to właśnie mnie konfunduje

[dziobaki_sa_jadowite]

@frogi16: ok, widze juz w czym problem, trochę kiepskie podejście w twoim zasobie jest do wytlumaczenia o co chodzi. Polecam zasoby internetowe nad książki.

Tl;dr: tak i tak

Na podstawie tego linka do stronki, zobacz sobie na akapit "The Backwards Pass". Ciężko mi bezpośrednio odpowiedzieć na pytanie bez spogladniecia na całość zasobu do ktorego sie odnosisz, ale generalnie to: jak tam masz w tym linku dEtotal/dw5 to to jest tłumacząc na

[f.....6]

@dziobaki_sa_jadowite: dwójki też sam nie ogarniam, ale pojawia się też później, więc to musi być coś konkretnego.
Co do reszty to dzięki za wytłumaczenie, jutro będę miał czas jeszcze się z tym pobawić, więc spróbuję ogarnąć temat.