摘要：
Batch Normlization NOTES: 下面关于BN概念的介绍基本转载自 (1) 什么是 BN ？ 作用：类似于在输入的时候对输入数据进行零均值化和方差归一化的操作，只是 BN 是发生在网络的中间层 算法流程： 注意流程中的最后一步也称之为仿射(affine)，引入这一步的目的主要是设计 阅读全文
摘要：
RNN vanilla RNN VS vanilla NN的区别 抽出单个来看： 输入： x 表示当前状态下数据的输入，h 表示接收到的上一个节点的(hidden state)输入 输出： y 表示当前状态下的输出，h' 表示传递到下一个节点的输出 输出 h' 与 x 和 h 的值都相关，而 y 则 阅读全文
摘要：
分布式训练 分为数据并行与模型并行： 数据并行就是一张GPU可能一次跑不了那么大的batch size，所以多用几张卡 模型并行就是一张GPU可能一次跑不了整个模型，所以把模型结构分成几个部分，每张卡跑一部分。 分为单机与多机： 单机就是只在一台机器上跑 多机就是用到多台机器，当中会涉及到一些远程调 阅读全文
摘要：
下列大部分内容转载自： https://zhuanlan.zhihu.com/p/91334380 硬件设备及软件库概念 显卡(GPU)，是可以执行并行运算的硬件设备 显卡驱动，通常指 NVIDIA driver，是软件驱动，封装对底层硬件设备的操作，向外提供上层运算API GPU架构：Tesla、 阅读全文
摘要：
vim 基本设置 缩进 tab设置为4个空格 https://blog.csdn.net/jiang1013nan/article/details/6298727 #TAB替换为空格 :set ts=4 :set expandtab :%retab! #空格替换为TAB :set ts=4 :set 阅读全文
摘要：
ssh 是什么 ssh 是一种网络协议，用于计算机之间的加密登录。它具有多种实现，既有商业实现，也有开源实现。 下面讨论的是在 Linux shell 中用 ssh 的场景。 ssh 的默认端口是 22，使用参数 -p 可以修改端口号 ssh 之所以能够保证安全，原因在于它采用了公钥加密。 ssh 阅读全文