LR篇：机器学习面试必备知识点解析

1. lr里面公式为什么用e？

在线性回归中，我们用模型的预测值ŷ $\hat{y}$逼近样本的真实值y，相当于让wTx+b$w^{T}x+b$逼近y。
但是在实际应用中，我们不总是用模型的预测值ŷ $\hat{y}$逼近样本的真实值y。
对数线性回归就是其中一个例子。对数线性回归是让模型的预测值逼近lny$lny$而不是y，相当于让ewTx+b$e^{w^{T}x+b}$逼近y。
广义线性模型就是一个概括性的表示，它引入一个单调可微函数g(.)，也称为联系函数，

对于逻辑回归模型，联系函数选对数几率函数：将z=wTx+b$z=w^{T}x+b$带入上式，变形得到这就是用线性回归模型的预测结果去逼近真实标记的对数几率。

进一步了解
什么是几率？在周志华的机器学习里定义为事件发生与不发生的概率比值：

对数几率就是取几率的对数：
逻辑回归是一种二分类模型，由条件概率分布P(Y|X) 表示，二项LR的条件概率如下：

从概率的角度看，Y=1 的对数几率就

2. lr loss funtion 推导

使用极大似然估计去估算模型的参数。
根据上面1中的知识，我们知道Y=1发生的概率，设为p，则P(Y=1|x)=p(xi),P(Y=0|x)=1−p(xi)写出似然函数：L(w)=n∏i=1[p(xi)]yi[1−p(xi)]1−yin为样本个数。
因为我们这里只考虑了二分类的情况，即yi只能取0和1两种情况。上面的似然函数就是依据这个条件写出来的。
求对数似然函数：lnL(w)=n∑i=1[yilnp

上一篇： 讲讲似然比检验

下一篇： 全面解析：逻辑回归算法详解