在机器学习里，likelihood跟probability有何不同之处？
1. probability-概率
更多指在给定条件 参数
下，发生结果
的可能性，
更多关注的是结果的可能性。
例子：
已知硬币的参数，就可以去推测抛硬币的各种情况的可能性，这称为概率。
比如已知硬币是公平的，也就是硬币的参数为0.5。
那么我们就可以推测，扔10次硬币，出现5次“花”朝上的概率为（抛硬币遵循二项分布，这个就不多解释了）：
2. likelihood-似然
但在机器学习中，训练模型的时候，模型常常不知道 ，但是知道结果的；所以就出现了要求解最可能的的情况；这时候问题就变成了
，也就是likelihood， 注意变成了已条件，变成了未知。
例子：
我们对硬币的参数并不清楚，要通过抛硬币的情况去推测硬币的参数，这称为似然。
3.log-likelihood 对数似然法
论文中提到的log-likelihood就是交叉熵代价函数（cross-entropy cost function）
4. maximum likelihood estimate 最大似然估计,
最大似然估计说的就是，如果事情发生了，那必然是概率最大的。
我们假设硬币有两面，一面是“花”，一面是“字”。
一般来说，我们都觉得硬币是公平的，也就是“花”和“字”出现的概率是差不多的。
如果我扔了100次硬币，100次出现的都是“花”。
在这样的事实下，我觉得似乎硬币的参数不是公平的。你硬要说是公平的，那就是侮辱我的智商。
这种通过事实，反过来猜测硬币的情况，就是似然。
而且，我觉得最有可能的硬币的情况是，两面都是“花”：
通过事实，推断出最有可能的硬币情况，就是最大似然估计。
具体的例子
我们实验的结果是，10次抛硬币，有6次是“花”。
所谓最大似然估计，就是假设硬币的参数，然后计算实验结果的概率是多少，概率越大的，那么这个假设的参数就越可能是真的。
我们先看看硬币是否是公平的，就用0.5作为硬币的参数，实验结果的概率为：
单独的一次计算没有什么意义，让我们继续往后面看。
再试试用0.6作为硬币的参数，实验结果的概率为：
之前说了，单次计算没有什么意义，但是两次计算进行比较就有意义了。
可以看到：
我们可以认为，0.6作为参数的可能性是0.5作为参数的可能性的1.2倍。
参考资料
terminology - What is the difference between "likelihood" and "probability"? - Cross Validated
其它
Discrete Random Variables：离散随机变量
Continuous Random Variables： 连续随机变量
Loss and Loss Functions for Training Deep Learning Neural Networks