机器学习中的数学笔记

1. 什么是梯度?

分析:辅导视频

答：首先梯度是一个矢量，表示函数在该点处沿着梯度的方向变化最快，变化率为梯度的大小。比如对于二元函数$z=f(x,y)$，在平面区域D具有一阶连续偏导数。某点的梯度为:

$$ 某点梯度 = \frac{\partial Z}{\partial Y} + \frac{\partial Z}{\partial X}$$

形象的可以理解为跑向山顶最快的方向。

2. 什么是极大似然估计?

分析: 辅导视频

首先，概率密度函数用来描述随机变量取某个值时，取值点所对应的概率的函数。

例如下面就是一个概率分布函数

$$ f(x; \mu, \sigma) = \frac{1}{\sigma \sqrt{2 \pi}} exp(-\frac{(x - \mu)^2}{2 \sigma^2})$$

$x$是随机变量，$\mu 和\sigma$ 都是参数

其次，明确概率和似然的区别

概率：是在已知一些概率分布参数的情况下，预测观测的结果。
似然：是在已之观测结果的情况下，对概率分布的参数进行估值。

极大似然估计的目的在于找到一个最符合当前观测数据的概率分布

最后，进入正题，我们假设有一组观察到的数据，一共有N个，$X_{observation} = {x_1, x_2, ... , x_N}$我们将$X_observation$里的数据点带入到$f(x; \mu, \sigma)$里，得到每个数据点在我们假设概率分布中的出现的可能性。

$$P(x_1 | \mu, \sigma),P(x_2 | \mu, \sigma), ...,P(x_3 | \mu, \sigma)$$

那么这一组数据$X_{observation}$在概率分布中出现的可能性就是他们的乘积：

$$L(\mu, \sigma | X_{observation}) = P(X | \mu, \sigma) = \prod_{i=1}^{N} P(x_i | \mu, \sigma)$$

上式中，我们用$L(\mu, \sigma | X_{observation}) $表示似然函数，通过已知的观测数据点X，用似然函数来估计参数$\mu, \sigma$的可能性。由此可见似然函数也是一种条件概率函数，但是我们关注的变量变了似然函数的值越大，参数拟合的越好。

找到似然函数的极大值的过程就是极大似然估计的过程。

接下来说一下对数似然函数(log likelihood)，我们对似然函数取对数，就是对数似然函数。

$$L(\mu, \sigma | X_{observation}) = \sum_{i=1}^{N} log P(x_i | \mu, \sigma)$$

原因1：如果不加对数，求导需要链式法则，十分困难。而对数似然函数求导十分方便。
原因2：如果不加对数，似然函数的值十分的小，太接近0了，而对数似然函数，把接近于0的数，变成很大的负数，方便计算。
原因3：对似然函数取对数，并不改变函数原来极大值的位置。

答：极大似然估计就是使用已观测数据，来计算其全部数据一起出现的概率，最终找到一组最符合当前观测数据分布的参数。通常我们要对似然函数取对数，来方便我们的计算。

3. 什么是中心极限定理与大数定律?

分析：参考资料、辅导视频

答：

中心极限定律是指:给定一个任意分布的总体，每次从总体中随机取出n个样本，一个抽取m次。把这m组样本分布求平均值，这些平均值的分布接近正太分布。
大数定律是指:在随机试验中，每次出现的结构不同，但是大量试验的结果的平均值总是接近某个确定的值。

大数定理揭示了大量随机变量的平均结果，但是没有涉及到随机变量的分布问题。而中心极限定律说明，大量独立随机变量的平均值是以正太分布为极限的。

大数定律描述的是频率稳定性，而中心极限定理描述的是分布的稳定性。

4. 什么是点估计，什么是矩估计？

分析：参考资料

答：

点估计：用样本来估计参数值为点估计，如果估计的是参数的一个区间则为区间估计。
矩估计：用样本矩来替换总体距，例如使用样本均值估计总体均值$/mu$。(参考资料的30页)

5. 什么是矩阵的秩？

分析：参考视频

答：K阶子式不为0,K+1阶子式全为0,则矩阵的秩为k。几何意义就是经过线性变化后空间的维度，矩阵的秩就是矩阵中最精简的信息的多少。

6. 矩阵乘以向量的意义是什么？

分析：参考视频

答：一个矩阵右乘一个向量，相当与对该向量做一个特定的线性变化，例如下面这个等式:

$$ \left[ \begin{matrix} a & b \\ c & d \end{matrix} \right] * \left[ \begin{matrix} x \\ y \end{matrix} \right] = x \hat{i} + y \hat{j} = x \left[ \begin{matrix} a \\ c \end{matrix} \right] + y \left[ \begin{matrix} b \\ d \end{matrix} \right] = \left[ \begin{matrix} ax+by \\ cx+dy \end{matrix} \right] $$

下面这个等式的意思是，对于一个二维空间上的向量，开始时基向量$i=\left[ \begin{matrix} 1 \\ 0 \end{matrix} \right]，j=\left[ \begin{matrix} 0 \\ 1 \end{matrix} \right]$经过一个线性变化后，基向量$i=\left[ \begin{matrix} a \\ c \end{matrix} \right]，j=\left[ \begin{matrix} b \\ d \end{matrix} \right]$后原本空间中的向量$\left[ \begin{matrix} x \\ y \end{matrix} \right]$，将会变成$ \left[ \begin{matrix} ax+by \\ cx+dy \end{matrix} \right]$，所以说矩阵右乘一个向量相当与对向量作一个线性变换。

如果说一个矩阵乘以一个矩阵的意义是什么，则可以理解为两次线性变化的复合。

7. 行列式的意义：

分析：参考视频

答：通过线性变换之后空间中物体变换的大小（二维是面积，三维是体积）。例如行列式$$ \left[ \begin{matrix} 2 & 0 \ 0 & 3 \end{matrix} \right] = 6$$表示通过这个线性变换，空间中的所有物体的面积将会增加6倍。行列式为0说明整个空间被压缩到了一条线上。

扩展：证明公式|A||B|=|AB|？

答：|A|表示经过线性变换A后基向量所围成的面积，|B|表示经过线性变换B后基向量所围成的面积。|A||B|表示基向量通过线性变换A会有一个面积det(A) = S，然后在对S倍的基向量进行线性变换B会得到一个面积。而|AB|表示基向量先经过线性变化A，然后在经过线性变化B后所围成的面积。其中两者都是在普通空间对面积为|A|图形做一个线性变化B，所有变换之后的面积是相等的。