摘要：
1.算法概述
2.算法推导
3.算法特性及优缺点
4.注意事项
5.实现和具体例子
6.适用场合
内容：
1.算法概述
最基本的LR分类器适合于对两分类（类0，类1）目标进行分类；这个模型以样本特征的线性组合sigma(theta * Xi)作为自变量，使用logistic函数将自变量映射到(0,1)上。
其中logistic函数（sigmoid函数为）：
函数图形为：
从而得到LR的模型函数为：
，其中
待定。
2.算法（数学）推导
建立的似然函数：
对上述函数求对数：
做下函数变换：
通过梯度下降法求最小值。θ的初始值可以全部为1.0，更新过程为：
（j表样本第j个属性，共n个；a表示步长--每次移动量大小，可*指定）
求导：
因此，θ（可以设初始值全部为1.0）的更新过程可以写成：
（i表示第i个统计样本，j表样本第j个属性；a表示步长）
矩阵形式（矢量化）的解：
约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值：
g(A)的参数A为一列向量，所以实现g函数时要支持列向量作为参数，并返回列向量。由上式可知hθ(x)
-y可由g(A)-y一次计算求得。
θ更新过程可以改为：
综上所述，Vectorization后θ更新的步骤如下：
（1）求A=X*θ(此处为矩阵乘法，X是（m,n+1）维向量，θ是（n+1，1）维列向量，A就是（m,1）维向量)
（2）求E=g(A)-y（E、y是（m,1）维列向量）
（3）求 
（a表示步长）
3.算法特性及优缺点
LR分类器适用数据类型：数值型和标称型数据。
可用于概率预测，也可用于分类。
其优点是计算代价不高，易于理解和实现；其缺点是容易欠拟合，分类精度可能不高。
各feature之间不需要满足条件独立假设(相比NB)，但各个feature的贡献是独立计算的(相比DT)。
4.注意事项
步长a的选择：值太小则收敛慢，值太大则不能保证迭代过程收敛（迈过了极小值）。
归一化：多维特征的训练数据进行回归采取梯度法求解时其特征值必须做scale，确保特征的取值范围在相同的尺度内计算过程才会收敛
最优化方法选择：L-BFGS，收敛速度快；（这个不太懂）
正则化：L1正则化可以选择特征，去除共线性影响；损失函数中使用了L1正则化，避免过拟合的同时输出稀疏模型；
(来自http://scikit-learn.org/stable/modules/linear_model.html#logistic-regression)
5.实现和具体例子
Logistic回归的主要用途：
寻找危险因素：寻找某一疾病的危险因素等；
预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；
- CTR预测：http://www.flickering.cn/uncategorized/2014/10/转化率预估-2逻辑回归技术/?utm_source=tuicool&utm_medium=referral
- 官网使用LR L1正则项进行特征选择的例子：https://github.com/Tongzhenguo/Python-Project/blob/master/learntoscikit/LRforFeatureSelect.py
- 一个银行风控的例子：http://www.weixinla.com/document/44745246.html
6.适用场合
是否支持大规模数据：支持，并且有分布式实现
特征维度：可以很高
是否有 Online 算法:有（参考自）
特征处理：支持数值型数据，类别型类型需要进行0-1编码