极大似然估计

### 概念与定义
`极大似然原理`是指：若一个抽样实验有$$n$$种可能的结果$$(A_{1},A_{2},···,A_{n})$$，现在我们做一次实验，实验的结果为$$A_{i}$$，则我们认为事件$$A_{i}$$在这$$n$$个可能的结果中出现的概率最大；

`极大似然估计`是指：在一个抽样实验中，样本出现的概率是关于参数$$\theta$$的函数，假设在$$n$$次实验中得到的观测值是$$(x_{1},x_{1},···,x_{n})$$。极大似然估计就是要求出使得这些观测值同时出现的概率最大的$$\theta$$的值。

### 案例讲解
`正常求概率 案例`假设有一个正方体(6个面)，每个面都写了一个数字(0或1)，有5个面写了0，1个面写了1，请问投掷时0和1出现的概率分别是多少？

`极大似然估计 案例`假设有一个正方体(6个面)，每个面都写了一个数字(0或1)，我们投掷它并观察出现的数字，得到这样一组样本(0,0,0,1,0,0)，请问分别有几个面写了0和1？

所以我们说：
> `概率`反映的是已知原因，推测事件发生的概率；
`极大似然估计`是已知事件发生的概率，寻找原因；

我们常常将事件发生的结果作为结果，因此也可以说：
> `概率`可以预测下一次事件发生的结果，属于根据原因寻找结果，我们认为是正向的；
`极大似然估计`是已知事件发生的结果，寻找事件发生的原因，因此也称为`以果索因`；

### 计算方法
#### 当总体样本X为离散型
我们假设总体样本有如下分布律：
>分布律为：$$P(X=x)=p(x;\theta)$$，其中：
>$$\theta$$ 为待估计参数，它是`模型的参数`，或者认为是模型的属性。当它取不同的值时，会影响模型的预测结果；
$$p(x;\theta)$$表示当参数为$$\theta$$时事件$$x$$发生的概率；

那么当观测的样本值为$$(x_{1},x_{1},···,x_{n})$$时，可以得到`似然函数Likelihood`：
> 似然函数公式：
> ```latex
L(\theta)=L(x_{1},x_{1},···,x_{n};\theta)=\prod_{i=1}^{n} p(x_{i};\theta )

可以看出，似然函数是关于`模型参数`的函数。
`极大似然估计`就是说：
> 为了使得似然函数的取值最大，也就是当前样本发生的可能性最大，$$\theta$$应该为何值。
这样就可以求出一个$$\theta$$的值，获得对当前样本最友好的模型。

#### 当总体样本X为连续型
假设概率密度为$$f(x;\theta)$$
当观测到的样本值为$$(x_{1},x_{1},···,x_{n})$$时，可以得到似然函数：
> 似然函数公式：
>```latex
L(\theta)=L(x_{1},x_{1},···,x_{n};\theta)=\prod_{i=1}^{n} f(x_{i};\theta )

同理，极大似然估计也是求得一个$$\theta$$的值，使得似然函数的取值最大，获得对当前样本最友好的模型。

### 参考
> [最大似然估计](https://lulaoshi.info/machine-learning/linear-model/maximum-likelihood-estimation)
> [极大似然估计理解与应用](https://www.cnblogs.com/lliuye/p/9139032.html)