ベクトルの微分 - 大人になってからの再学習

ベクトル
${\bf x} = (x_1, ... , x_n)^T$
を変数とする関数
$f({\bf x})$
について、fの ${\bf x}$ での微分は次のように定義される。

$\frac{\partial f({\bf x})}{\partial {\bf x}} = (\frac{\partial f}{\partial x_1},...,\frac{\partial f}{\partial x_n} )^T$

ベクトルの微分について、以下が成り立つ。
（Aをn×n行列、Bをm×n行列、aをn×1ベクトルとする）

(1) $\frac{\partial}{\partial x}({\bf a}^T {\bf x}) = {\bf a}$
(2) $\frac{\partial}{\partial x}({\bf B} {\bf x}) = {\bf B}^T$
(3) $\frac{\partial}{\partial x}({\bf x}^T{\bf A x}) = ({\bf A} + {\bf A}^T){\bf x}$

(3)番目の式は、Aが対称行列の場合は次のようになる。
(3') $\frac{\partial}{\partial x}({\bf x}^T{\bf A x}) = 2{\bf A}{\bf x}$

参考：統計のための線形代数
 http://home.hiroshima-u.ac.jp/inagai/write/stat_linear.pdf