Gradient

记录学习Gradient的过程，帮助自己加深理解，感觉有不少地方自己写的不清楚，以后继续改进吧。

1

两个疑问：

  1. 为什么梯度指向变化最快的方向。
  2. 怎么求梯度（为什么这么求）。

1.1

对应问题1:

梯度的定义是对导数定义的泛化（高维）。

在单变量函数中，导数对应切线的斜率（即函数变化最快的方向），如：

上例可以理解为函数在x轴负方向的变化速度为3。这时便把导数理解为了有大小和方向的量，梯度也是如此，有梯度大小和梯度方向。

和导数一样梯度方向指向函数变化最快的方向，而梯度大小表示变化的具体速度。

为什么梯度指向变化最快的方向？

答：定义就是这样。这就是梯度的定义。是人为的把变化最快的地方叫做梯度。

1.2

对应问题2：

只从直观感觉去解释，理解。

1.偏导数大家都学过，偏导数指向表示当前方向的变化率。

2.高维函数在空间的各个基上的偏导数，对应着各个方向上的变化率。

3.高维函数在某个点变化最快的方向和变化率用梯度的方向和大小表示。

4.梯度在各个基上的投影对应偏导数，也可以理解为在各个基上的单位向量和偏导数合成了梯度向量。

所以得到了：

同时也有（梯度在各个方向上的投影对应函数在对应方向上的偏导数）：