摘要: Tensorflow加速方法参考 1、使用Anaconda取代Python+pip 2、Estimator+tf.data 使用Estimator实现一切训练代码都用tf的api重写 prefetch tf.data.Dataset在map(预处理)函数里有一个参数num_parallel_call 阅读全文
posted @ 2021-04-19 15:20 GeraintJht 阅读(364) 评论(0) 推荐(0) 编辑
摘要: Softmax函数与交叉熵损失函数 深度学习新手,如果错误,还请指正,谢谢 Softmax激励函数 用于生成各个结果的概率分布,其输出概率之和为1,同时取概率最高的作为结果 交叉熵损失函数(Cross Entropy Loss) softmax函数结果与真实值计算交叉熵,我们就构建了交叉熵损失函数, 阅读全文
posted @ 2021-04-19 15:19 GeraintJht 阅读(884) 评论(0) 推荐(0) 编辑
摘要: Tensorflow:Dropout函数与剪枝的思考 乍一看觉得这两者还挺像的,仔细想想还是区别很大的 Dropout函数 在向下一层的输入中随机关闭一定比例的输入。这样做可以防止任何特定的神经元变得过于强大,导致模型与数据的过拟合,从而影响准确率。 剪枝 剪掉一部分对网络影响不大的输入从而减小模型 阅读全文
posted @ 2021-04-19 15:18 GeraintJht 阅读(333) 评论(0) 推荐(0) 编辑