[机器学习]逻辑回归

1.基本思想

逻辑回归是一种广义上的线性回归分析模型，简单来看就是将线性回归的结果y通过一个映射函数sigmoid映射到0-1区间，将sigmoid函数输出当做概率值，当概率值大于0.5时分类为正类，反之反类。

2.模型

• 其中，映射函数sigmoid ：

3.推导过程

3.1 表示正/负类概率

1. 逻辑回归是二分类算法，定义 正类标签为，负类标签为。

这里既然是定义，说明是人为规定的，原因在于这样定义对后续的推导可以起到简化作用，后文紧接着会提到。如果你比较叛逆，不这样定义也是可以的，就是推导会非常麻烦。

2. 接下来是第二个涉及定义的地方，定义将sigmoid函数输出为概率值，sigmoid函数输出是[0,1]区间的，恰好符合概率的要求。且定义正类的概率为，负类自然就是。

---

综上，

则给定一些特征，其是正类的概率写作 或 ；负类的概率写作 或

关键一步的化繁为简，将分类为正类的概率 和 分类为负类的概率 同时用一条公式表达出来：

非常非常巧妙是不是，自己尝试代入标签y=1或者y=0看看效果是不是和原先一模一样

现在，我们有了一个统一的公式表达标签及对应的概率：

3.2 最大似然估计

上面将sigmoid函数输出当做概率，我们目标追求正确分类的概率 要越高越好，使用最大似然估计来求使 达到最大的参数 ，故可以得到参数 的似然函数如下：