bourne_lin

摘要： 当显示cuda内存不够的时候，可以尝试减少batch的数量当出现“cuda runtime error (59)”时，有可能是网络的最后一层输出的数量比数据集的label少。（最后一层的输出数量多于数据集的时候不会报错，因为训练的时候由于不存在多出来的label，多出来的输出神经元就等于没训练）train的时候用model.train(), test和valid的时候用model.eval()记得... 阅读全文

摘要： 优点：减少训练时间，使得更深的网络可训练:由于更小的 internal covariate shift，可以使用更大的learning rate;缓解梯度消失问题（对于sigmoid,tanh等）.对于数据的初始化敏感度更低. 减少overfitting的可能（因此也不需要太多的regularization）.I. Main Idea1. What若不对输入数据作scaling，数据的量级差异会... 阅读全文

摘要： Style Transfer 的要点: 1. CNN不是用来传统的分类训练：网络训练的是target image，而不是网络的parameters （当然这里的网络是已经trained好的）。 2. target image由content image 和 style image组成。 3. image的style 由每一层layer中的feature maps之间的correlat... 阅读全文

摘要： 本文中的source data 和target data分别是有大量的非当前任务数据集和少量的当前任务数据集。  2 examples:  Both Labeled 1. Model Fine Tuning  当target data的量很少的时候，称为one-shot learning。 F 阅读全文