python机器学习-chapter2_15
•mlp = MLPClassifier(solver = 'lbfgs', random_state = 0)
{‘lbfgs’,‘sgd’,‘adam’},默认’adam’。权重优化的求解器:'lbfgs’是准牛顿方法族的优化器;'sgd’指的是随机梯度下降。'adam’是指由Kingma,Diederik和Jimmy Ba提出的基于随机梯度的优化器。注意:默认解算器“adam”在相对较大的数据集(包含数千个训练样本或更多)方面在训练时间和验证分数方面都能很好地工作。但是,对于小型数据集,“lbfgs”可以更快地收敛并且表现更好。
MLPClassifier()更多参数见:https://blog.csdn.net/weixin_38278334/article/details/83023958
•在MLP神经网络中,使得决策边界变得平滑,有以下几种方法:
①增加隐单元
②增加隐层数
③将默认的激活函数relu改变为tanh
④改变调节L2惩罚的参数alpha
•神经网络
重要参数:隐层数、隐单元数、正则化、激活函数
优点:能够获取大量数据中包含的信息,并构建及其复杂的网络
缺点:需要对数据进行预处理,在“均匀”数据上的性能最好
通过权重的个数来判断模型复杂度
神经网络调参方法:首先创造一个大到足以过拟合的网络,确保这个网络可以对任务进行学习。之后缩小网络,或者增发alpha来正则化,提高泛化性能