【深度学习】CNN论文TCN
RNN的主要问题:
1 太长的影响捕捉不到
2 训练太慢
TCN的两个原则:
1 网络产生与输入相同长度的输出
隐层和输入层长度相同 (padding 0),
2 不能使用历史数据
产生的问题:
需要很深的网络才能表达
三个关键的技术:
1 因果卷积(单边卷积)
2 扩张卷积
3 resNet 跳连接
优势:
1 可并行
2 接受域很灵活
3 梯度比较稳定,
劣势:
扩展性不好,处理长度更长的序列时可能会因为视野过小发生问题。