逻辑回归的 LogisticRegressionCV函数

参考：https://www.cnblogs.com/jfdwd/p/11046747.html

正则化选择参数 ：penalty   
                              ——>  ；l1 / l2    默认是L2的正则化；

　　　　　　　　　　　　出现过拟合，考虑使用  L1；

　　　　　　　　　　　　如果特征较多希望略去不重要特征，就有L1。

参数优化方式    ：solver     
                             ——> 当penalty为l1的时候，参数只能是：liblinear(坐标轴下降法)，lbfgs和cg都是关于目标函数的二 阶泰勒展开,当penalty为l2的时候，参数可以是：lbfgs(拟牛顿法)、newton-cg(牛顿法变种)，seg(minibatch) 、而liblinear通吃L1正则化和L2正则化     

                 维度<10000时，lbfgs法比较好，   维度>10000时， cg法比较好，显卡计算的时候，lbfgs和cg都比seg快

                    1.  liblinear：使用了坐标轴下降法来迭代优化损失函数。

　　　　      2.  lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。

　　　　      3. newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。

　　　　      4.  sag：即随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计  算梯度，适合于样本数据多的时候，SAG是一种线性收敛算法，这个速度远比SGD快。关于SAG的理解.