深度学习
1.神经网络作用剖析
烧脑!CMU、北大等合著论文真的找到了神经网络的全局最优解
只要网络够大,网络就能能够训练到损失为零,网络训练有两个现象:1.过参数化;2.网络越大难训练;
神经网络应用于难以建模解析、映射关系确实存在的部分;
徐立谈人工智能三个阶段,目前仅属于数据记忆的阶段,对于深度预测可说明该问题。
神经网络CNN等提取的特征,具有部分相等性,但不具有不变性。
2.网络结构与激活函数
【串讲总结】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM
完胜ReLU!斯坦福的神经网络采用这种激活函数,竟高保真还原各种图像视频
采用了sin为激活函数
3.网络训练及技巧
主要工作是在resnet基础上加了类似于学习率的系数,来保证梯度不消失或爆炸
有点扯了,没有数据驱动,怎么学习?
cosine 学习率,从经验上来看看比较有用
你有哪些deep learning(rnn、cnn)调参的经验?
4. 数据处理与训练方法
标注样本少怎么办?「文本增强+半监督学习」总结(从PseudoLabel到UDA/FixMatch)
引入随机森林进行异常检测
5.资料推荐
《Reinforcement Learning- An Introduction》第二版中文翻译 以有中文版书籍,可购买。
重磅发布!吴恩达 AI 完整课程资源超级大汇总!
6.典型应用
GCNv2-SLAM:用CNN提取特征点取代ORB
Voxel Map for Visual SLAM 这个论文能够间避障地图,平衡了地图密度和算法效率。