多任务学习反向传播的问题

一、多任务误差问题

 

参考好问题https://www.zhihu.com/question/398425328

 

综合多位答主的答案得出结论：

1、多任务共享部分网络，loss相加和单独传播理论上有区别

 

2、但实际应用中区别很小，甚至不会被提起。

 

 

二、一个Batch中误差传播问题

今天遇到了一个问题，我设计的loss可微，但是不同frame有不同的结果，而同一batch内部到底是如何反向传播误差？

搜索发现了答案：

对于一个batch内部的数据，更新权重我们是这样做的：
假如我们有三个数据，第一个数据我们更新一次参数，不过这个更新只是在我们脑子里，实际的参数没有变化，然后使用原始的参数更新一次第二个例子，然后使用原始参数更新一次第三个例子。这样一个batch完了之后，我们把这三次计算出来需要的update的参数量求和或者求平均，从而更新一次参数。

所以一个batch对应一次反向传播，只不过参数对应batch内部数据计算处理的更新的和或者平均
How are weights updated in the batch learning method in neural networks?

How to update weights in Batch update method of backpropagation.

深度学习一个batch的反向传播怎样同时进行呢?不是应该一个样本对应一次反向传播吗？ - 纳兰涟漪的回答 - 知乎
https://www.zhihu.com/question/300368708/answer/520277918

转载于:https://www.cnblogs.com/lzida9223/p/10972730.html