机器学习常见算法调优

1、线性回归、逻辑回归

　　特征归一化（标准化）、正则化防止过拟合、激活函数的选择、迭代次数

2、KNN

　　K值的选择、距离的定义、决策的权重（不同距离的点赋予不同的权重）

3、神经网络

　　特征归一化（标准化）、层数、每层的神经元个数、学习速率、批量 batch_size、激活函数、初始化参数，优化器的选择；

　　卷积神经网络：卷积核的数目，移动的步长，边界的处理，池化层的选择（最大池化，平均池化），

　　循环神经网络、LSTM：序列长度

4、决策树、随机森林、GBDT

　　树的数目、树的深度、叶子节点的样本数、叶子分裂的限制条件、算法依据（GINI系数or信息熵）

 

 

tensorflow 参数初始化：

weight1 = tf.Variable(tf.random_normal([input_size, layer1_size]))
biaes1 = tf.Variable(tf.zeros([1, layer1_size]) + 0.1)

random_uniform、random_normal、truncated_normal、parameterized_truncated_normal
有时候 tf.zeros 要比 tf.random_normal好的多！