深度学习

1.神经网络作用剖析 

烧脑!CMU、北大等合著论文真的找到了神经网络的全局最优解

  只要网络够大,网络就能能够训练到损失为零,网络训练有两个现象:1.过参数化;2.网络越大难训练;

  神经网络应用于难以建模解析、映射关系确实存在的部分; 

谈谈CNN中的位置和尺度问题 

    徐立谈人工智能三个阶段,目前仅属于数据记忆的阶段,对于深度预测可说明该问题。

    神经网络CNN等提取的特征,具有部分相等性,但不具有不变性。

 

2.网络结构与激活函数 

【串讲总结】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM

完胜ReLU!斯坦福的神经网络采用这种激活函数,竟高保真还原各种图像视频

  采用了sin为激活函数

3.网络训练及技巧

半天2k赞火爆推特!李飞飞高徒发布33条神经网络训练秘技 

这篇论文让你无惧梯度消失或爆炸,轻松训练一万层神经网络

  主要工作是在resnet基础上加了类似于学习率的系数,来保证梯度不消失或爆炸

机器学习如何才能避免「只是调参数」?

  有点扯了,没有数据驱动,怎么学习?

深度学习 cnn trick合集

  cosine 学习率,从经验上来看看比较有用

你有哪些deep learning(rnn、cnn)调参的经验?

加入一行代码提升迁移性能-崔书豪

 

4. 数据处理与训练方法

标注样本少怎么办?「文本增强+半监督学习」总结(从PseudoLabel到UDA/FixMatch)

机器学习中有哪些形式简单却很巧妙的idea?

  引入随机森林进行异常检测

类别不平衡学习资源推荐

 5.资料推荐

《Reinforcement Learning- An Introduction》第二版中文翻译 以有中文版书籍,可购买。

重磅发布!吴恩达 AI 完整课程资源超级大汇总!

6.典型应用

GCNv2-SLAM:用CNN提取特征点取代ORB

强化学习在自动驾驶上有哪些应用?

 Voxel Map for Visual SLAM 这个论文能够间避障地图,平衡了地图密度和算法效率。

 
posted @ 2020-05-16 16:57  奔跑_少年  阅读(216)  评论(0编辑  收藏  举报