刘-皇叔 - 博客园

2018年9月10日

摘要：神经网络的权重初始化（ Weight Initialization for Deep NetworksVanishing / Exploding gradients）理想的权重矩阵既不会增长过快，也不会太快下降到 0，从而训练出一个权重或梯度不会增长或消失过快的深度网络。有一个神经元的情况：阅读全文

posted @ 2018-09-10 22:21 刘-皇叔阅读(2708) 评论(0) 推荐(0) 编辑

1-10 梯度消失/梯度爆炸

摘要：梯度消失/梯度爆炸（ Vanishing / Exploding gradients）训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。假设你正在训练这样一个极深的神经阅读全文

posted @ 2018-09-10 08:58 刘-皇叔阅读(630) 评论(0) 推荐(0) 编辑

2018年9月9日

1-9 归一化输入

摘要：归一化输入（ Normalizing inputs）训练神经网络，其中一个加速训练的方法就是归一化输入。归一化的两个步骤：零均值归一化方差第一步是零均值化， $u = \frac{1}{m}\sum\nolimits_{i = 1}^m {{x^{(i)}}}$，它是一个向量，x等于每个训阅读全文

posted @ 2018-09-09 21:52 刘-皇叔阅读(907) 评论(0) 推荐(0) 编辑

1-8 其他正则化方法

摘要：其他正则化方法（ Other regularization methods）除了 L2正则化和随机失活（ dropout）正则化，还有几种方法可以减少神经网络中的过拟合: 数据扩增通过数据扩增可以解决过拟合问题，但是数据扩增需要付出的代价高，所以可以将原图水平翻转、随意裁剪等等手段来增加数据，对阅读全文

posted @ 2018-09-09 17:13 刘-皇叔阅读(639) 评论(0) 推荐(0) 编辑

2018年9月8日

1-7 理解 dropout

摘要：理解 dropout（ Understanding Dropout）从单个神经元入手，如图，这个单元的工作就是输入并生成一些有意义的输出。通过 dropout，该单元的输入几乎被消除，有时这两个单元会被删除，有时会删除其它单元，就是说，用紫色圈起来的这个单元，它不能依靠任何特征，因为特征都有可能阅读全文

posted @ 2018-09-08 21:32 刘-皇叔阅读(721) 评论(0) 推荐(0) 编辑

2018年9月2日

1-6 dropout 正则化

摘要： dropout 正则化（ Dropout Regularization）除了L2正则化，还有一个非常实用的正则化方法——Dropout（随机失活）：假设你在训练上图这样的神经网络，它存在过拟合，这就是 dropout 所要处理的，我们复制这个神经网络， dropout 会遍历网络的每一层，并设阅读全文

posted @ 2018-09-02 23:01 刘-皇叔阅读(2749) 评论(0) 推荐(0) 编辑

1-5 为什么正则化有利于预防过拟合呢？

摘要：为什么正则化有利于预防过拟合呢？（ Why regularization reduces overfitting?）左图是高偏差，右图是高方差，中间是 Just Right。我们假设下面的网络是一个过拟合的网络，我们添加正则项，可以避免数据权值矩阵过大，这就是弗罗贝尼乌斯范数。那么为什么弗罗贝尼阅读全文

posted @ 2018-09-02 22:57 刘-皇叔阅读(963) 评论(0) 推荐(0) 编辑

1-4 正则化

摘要：正则化（ Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法：一个是正则化；另一个是准备更多的数据；这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高。逻辑回归中的正则化目标：$\mathop {\min J}\limit 阅读全文

posted @ 2018-09-02 22:28 刘-皇叔阅读(722) 评论(0) 推荐(0) 编辑

2018年9月1日

镜像下载

摘要： wget命令用来从指定的URL下载文件。wget非常稳定，它在带宽很窄的情况下和不稳定网络中有很强的适应性，如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完毕。如果是服务器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有阅读全文

posted @ 2018-09-01 16:09 刘-皇叔阅读(94) 评论(0) 推荐(0) 编辑

查询网络服务和端口

摘要： netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。列出所有端口 (包括监听和未监听的): 列出所有 tcp 端口: 列出所有有监听的服阅读全文

posted @ 2018-09-01 16:05 刘-皇叔阅读(351) 评论(0) 推荐(0) 编辑

查找指定进程并杀死

摘要：查找包含特定字符串的进程并杀死方法一把ps的查询结果通过管道给grep查找包含特定字符串的进程。管道符“|”用来隔开两个命令，管道符左边命令的输出会作为管道符右边命令的输入。杀死进程：方法二使用pgrep，一看到pgrep首先会想到什么？没错，grep！pgrep的p表明了这个命令是专门用阅读全文

posted @ 2018-09-01 15:50 刘-皇叔阅读(1997) 评论(0) 推荐(0) 编辑

环境变量

摘要：环境变量PATH 什么是环境变量呢？简要的说，就是指定一个目录，运行软件的时候，相关的程序将会按照该目录寻找相关文件。在linux系统下，如果你下载并安装了应用程序，很有可能在键入它的名称时出现“command not found”的提示内容。如果每次都到安装目标文件夹内，找到可执行文件来进行操作阅读全文

posted @ 2018-09-01 14:56 刘-皇叔阅读(113) 评论(0) 推荐(0) 编辑

文件权限

摘要：更改权限:chmod 在linux中为了方便更改这些权限，linux使用数字去代替rwx, 具体规则为 ‘r’ 等于4, ‘w’ 等于2, ‘x’ 等于1, ‘-‘ 等于0。举个例子: ‘-rwxrwx—’ 用数字表示就是 ‘770’, 具体是这样来的: ‘rwx’ = 4+2+1=7; ‘rwx 阅读全文

posted @ 2018-09-01 14:46 刘-皇叔阅读(107) 评论(0) 推荐(0) 编辑

文件路径查找

摘要： locate 功能：类似于whereis, 也是通过查找预先生成的文件列表库来告诉用户要查找的文件在哪里。语法： locate[文件名称] find 语法 : find [路径] [选项] 选项： ‘-atime +n/-n’ : 访问或执行时间大于/小于n天的文件。 ‘-ctime +n/-n 阅读全文

posted @ 2018-09-01 14:02 刘-皇叔阅读(372) 评论(0) 推荐(0) 编辑

系统进程查询

摘要：查看系统进程使用命令：ps 其实在top命令就可以查看那些进程在运行，但是不容易看，当然还有专门显示系统进程的命令: PID ：进程的id，这个id很有用，在linux中内核管理进程就得靠pid来识别和管理某一个程，比如我想终止某一个进程，则用 ‘kill 进程的pid 有时并不能杀掉，则需要加一阅读全文

posted @ 2018-09-01 12:51 刘-皇叔阅读(368) 评论(0) 推荐(0) 编辑

内存使用情况查询

摘要：查看内存使用状况使用命令：free 注意：我们还可以加-m 或者-g选项分别以M或G为单位打印内存使用状况: 阅读全文

posted @ 2018-09-01 12:50 刘-皇叔阅读(281) 评论(0) 推荐(0) 编辑

系统负载查询

摘要：查看当前系统的负载使用命令：w 第一行从左面开始显示的信息依次为：时间，系统运行时间，登录用户数，平均负载。第二行开始以及下面所有的行，告诉我们的信息是，当前登录的都有哪些用户，以及他们是从哪里登录的等等。 load average:后面的三个数值：第一个数值表示1分钟内系统的平均负载值；第阅读全文

posted @ 2018-09-01 12:45 刘-皇叔阅读(1044) 评论(0) 推荐(0) 编辑

linux系统信息查询

摘要： linux下查看发行版本方法一：方法二：其它关于系统信息的查看指令查看内核版本方法一：方法二： uname命令的详细使用可以使用如下方法查看与理解：查看系统位数方法一：查看long类型占的字节数在64bit系统中应该是8bytes，而在32bit系统中应该是4bytes，注意不要使阅读全文

posted @ 2018-09-01 12:40 刘-皇叔阅读(163) 评论(0) 推荐(0) 编辑

CPU信息查看

摘要：查看CPU信息以上输出项的含义如下：阅读全文

posted @ 2018-09-01 12:37 刘-皇叔阅读(1239) 评论(0) 推荐(0) 编辑

2018年8月29日

1-3 机器学习基础

摘要：机器学习基础（ Basic Recipe for Machine Learning）我们训练的目的是找到低偏差、低方差的模型。首先要保证的是低偏差，这是最低标准，反复尝试，直到可以拟合数据为止，至少能够拟合训练集。偏差较高时可以考虑采取的方法：用规模更大的网络延长训练时间一旦偏差降低到可阅读全文

posted @ 2018-08-29 16:05 刘-皇叔阅读(316) 评论(0) 推荐(0) 编辑

刘皇叔

接着奏乐，接着舞！

公告