摘要:
Softmax 目录 1.Softmax概念 2.Softmax分类 3.Softmax回归 4. Softmax 与 SVM 1.Softmat概念 1.1什么是Softmax函数? 我们知道max,假如说我有两个数,a和b,并且a>b,如果取max,那么就直接取a,没有第二种可能 但有的时候我不 阅读全文
摘要:
超参数搜索的策略 在深度学习中,超参数有很多,比如学习率α、使用momentum或Adam优化算法的参数(β1,β2,ε)、层数layers、不同层隐藏 单元数hidden units、学习率衰退、mini=batch的大小等。其中一些超参数比其他参数重要,其优先级可以分为以下几级,如图,红色 框最 阅读全文
摘要:
Batch Nornalization Question? 1.是什么? 2.有什么用? 3.怎么用? paper:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shif 阅读全文