ディープラーニングG検定の勉強中 その9(微分と関数値の近似、極大・極小)

書籍「最短コースでわかるディープラーニングの数学」の内容に沿って勉強しています。

今回は、まずは微分と関数値の近似についてです。

関数の直線について、2点(x, f(x))、(x+h, f(x+h))を結んだ関数の直線の傾きをグラフにすると、以下となります。



このとき、xに、x+hと微少の値を増やしたとき、f(x)の変化量との間には、以下の式が成り立ちます。

式1


例えば、f(x)=2 * x　のとき、xが1でその増加量が、0.000000001のときには、
f(x)は、の増加量は0.000000002になるので、

2.000000002 ≅ 2 * 1.000000001　が成り立ちます。つまり、xの微量の増加によるf(x)の変化量は、hf '(x)と等しくなります。

接線についても、



dxがhと同様に微少の値が増加するときのf(x)の変化量は、f '(x)dxと等しくなり、式2が成立します。

式2


つまりは、式3が成立することになります。

式3


なお、上記の式から、f '(x)の値が0になるときには、f(x)の変化量も0となります。
そして、f '(x)=0となるxの地点(接線の傾き0)では、関数の形が山頂になっていたり、谷底になっていたりします。
関数の形が山頂のときには「極大」、谷底のときには「極小」といいます。



ただし、f '(x)=0のときに極大にも極小にもならない関数もあります。




なお、f '(x)=0のときに、極大または極小になるという原理は、ディープラーニングで用いられる「勾配降下法」に関連してくるとのことです。