摘要:
TensorFlow 2.0 版本将 keras 作为高级 API,对于 keras boy/girl 来说,这就很友好了。tf.keras 从 1.x 版本迁移到 2.0 版本,需要注意几个地方。 1. 设置随机种子 2. 设置并行线程数和动态分配显存 3. model.compile() 中设置 阅读全文
摘要:
tf.keras.metric 里面竟然没有实现 F1 score、recall、precision 等指标,一开始觉得真不可思议。但这是有原因的,这些指标在 batch-wise 上计算都没有意义,需要在整个验证集上计算,而 tf.keras 在训练过程(包括验证集)中计算 acc、loss 都是一个 batch 计算一次的,最后再平均起来。 阅读全文
摘要:
之所以会有这个问题,是因为在学习 logistic regression 时,《统计机器学习》一书说它的负对数似然函数是凸函数,而 logistic regression 的负对数似然函数(negative log likelihood)和 交叉熵函数(cross entropy)具有一样的形式。 阅读全文
摘要:
TensorFlow Datasets 简单介绍,使用 tfds 方便导入一些 tf.keras.datasets 中没有的数据集。 阅读全文
摘要:
python 命令行参数解析常用到 argparse 包,但是 argparse 包对 bool 值的传递可能和你想不太一样,在传递 bool 的时候,设定 type=bool,此时命令行中只要出现了参数就取 True,不管你设置了该参数取 True 还是 False,这个有点反人类,正确的做法是使用 action='store_true' 而不是设定 type=bool。 阅读全文
摘要:
验证集效果比测试集好怎么办? 阅读全文
摘要:
主动学习,Core-set 查询策略,2018 年 ICLR 的一篇文章,成为了之后很多文章的 baseline。其中,K-center-greedy 方法实现简单,速度快;Robust k-center 速度慢,但效果更好。 阅读全文
摘要:
Monte-Carlo Dropout(蒙特卡罗 dropout),简称 MC dropout。一种从贝叶斯理论出发的 Dropout 理解方式,将 Dropout 解释为高斯过程的贝叶斯近似。本文简单介绍 MC dropout,并说明神经网络模型如何表示 uncertainty。 阅读全文
摘要:
NumPy 不会主动检测并利用 GPU,虽然 NumPy 已经很好用了,但是能利用 GPU 的 NumPy 替代品速度会更快。 阅读全文
摘要:
查看 CUDA 和 cuDNN 的版本,安装对应版本的深度学习框架。 阅读全文