python机器学习-chapter2_15

•mlp = MLPClassifier(solver = 'lbfgs', random_state = 0)

{‘lbfgs’,‘sgd’,‘adam’},默认’adam’。权重优化的求解器:'lbfgs’是准牛顿方法族的优化器;'sgd’指的是随机梯度下降。'adam’是指由Kingma,Diederik和Jimmy Ba提出的基于随机梯度的优化器。注意:默认解算器“adam”在相对较大的数据集(包含数千个训练样本或更多)方面在训练时间和验证分数方面都能很好地工作。但是,对于小型数据集,“lbfgs”可以更快地收敛并且表现更好。

MLPClassifier()更多参数见:https://blog.csdn.net/weixin_38278334/article/details/83023958

 

•在MLP神经网络中,使得决策边界变得平滑,有以下几种方法:

①增加隐单元

②增加隐层数

③将默认的激活函数relu改变为tanh

④改变调节L2惩罚的参数alpha

 

•神经网络

重要参数:隐层数、隐单元数、正则化、激活函数

优点:能够获取大量数据中包含的信息,并构建及其复杂的网络

缺点:需要对数据进行预处理,在“均匀”数据上的性能最好

通过权重的个数来判断模型复杂度

神经网络调参方法:首先创造一个大到足以过拟合的网络,确保这个网络可以对任务进行学习。之后缩小网络,或者增发alpha来正则化,提高泛化性能

 

posted @ 2020-02-19 22:07  啵仔  阅读(187)  评论(0编辑  收藏  举报