WisFaq!

Partiele Afgeleiden in neuraal netwerk

Op Machine Learning for Beginners: An Introduction to Neural Networks gebeurt er in 4. Training a Neural Network, Part 2 een stap die ik niet begrijp.

Het gaat over het volgende :
Gegeven : ypred​=o1​=f(w5​h1​+w6​h2​+b3​) wordt het volgende gezegd :
@Ypred/@h1 = w5 * f´(w5​h1​+w6​h2​+b3​)

In de tekst wordt gezegd dat de kettingregel toegepast wordt om deze stap te maken. Toch begrijp ik niet op welke manier dan wel.

Graag een woordje uitleg.

Dank bij voorbaat

peter mostmans
21-3-2019

Antwoord

Als je partieel differentieert naar $h_1$ dan doe je of de rest van de variabelen constant is. Er staat dus eigenlijk
$$
y_{pred} = f(w_1h_1+c)
$$waarbij $w_6h_2+b_3$ tot een constante $c$ is samengevoegd.
Differentieer nu de rechterkant naar $h_1$:
$$
f'(w_1h_1+c)\cdot (w_1h_1+c)'
$$die laatste afgeleide is gewoon $w_1$.

kphart
21-3-2019