シグモイド関数

■シグモイド関数の数式表現
シグモイド関数（標準形）は次の式で表される。

■シグモイド関数の形
グラフは次のような形。

xの値が大きくなると値が1に近づく（分母が1に近づくので）
xの値が小さくなると値が0に近づく（分母が∞に近づくので）
xが0の時に値は1/2になる。

下図に示すステップ関数（step function）を滑らかにしたものであると見なすことができる。

■シグモイド関数の性質
微分が自分自身の関数（シグモイド関数）を使って簡単に表現できる。
一階微分はS'(x)=S(x)(1-S(x))で表現される。

■応用
ニューラルネットワークでの、入力に対する応答を表現する関数として用いられる。
ニューラルネットワークの学習において、この関数の微分が用いられるので、微分が容易に求まるシグモイド関数が便利。

■参考
・Artificial Neural Networks/Activation Functions
http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Activation_Functions

・Sigmoid Function (Wolfram MathWorld)
http://mathworld.wolfram.com/SigmoidFunction.html

・バックプロパゲーションでニューラルネットの学習（きしだのはてな）
http://d.hatena.ne.jp/nowokay/20080701/1214915017

はじめての機械学習

学習とニューラルネットワーク (電子情報通信工学シリーズ)