机器学习中的几个常见概念（持续更新中......）

1、学习率 Learning Rate：学习率决定了权值的更新速度，设置太大会使权值越过最优值，太小会使下降速度过慢，算法长时间不能收敛。靠人为干预调整参数需要不断的调整学习率。

2、梯度下降：一个广泛用来最小化模型误差的参数优化算法。梯度下降通过多次迭代，并在每一步中最小化成本函数来估计模型的参数（weight）。

3、signoid函数：是一个激活函数，当然还有relu/tash等。sigmoid的输出范围在[0, 1]之间，输出稳定，数据在传递过程中不容易扩散。缺点就是饱和的时候，梯度太小。

4、softmax函数：对于多层来讲，输出层就必须是softmax，他是sigmoid的推广。

5、随机森林算法及原理：
    随机森林通过反复二分数据进行分类和回归，使计算量大大降低。在变量（列）的使用和数据（行）的使用上随机化，生成很多分类树，再汇总分类的结果。
    随机森林是随机建立一个森林，森林里面有由很多决策树组成，各个决策树之间没有任何影响。
    实现过程：
    <1>原始训练集N，利用bootstrap法有放回的随机抽取样本k。
    <2>设有m个变量，每次在节点处随机选择n个变量，然后在m中选择一个具有分类能力的变量，变量的阈值通过检查每一个分类点确定。
    <3>每一棵树最大限度的生长，不做任何修剪。
    <4>将生成的多棵分类树组成的随机森林，用随机森林分类器对新的数据进行判别和分类，分类的结果按分类器的投票多少而定。

6、逻辑回归算法及原理