摘要: Hadoop中文手册:http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 英文手册:http://hadoop.apache.org/docs/stable/hadoop project dist/hadoop common/Co 阅读全文
posted @ 2018-10-27 22:20 surimj 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 查看文件的行数 查看文件多行内容 ,查看文件前num行 ,查看文件后num行 ,查看文件num1至num2行 查看文件每行列数 查看文件第一列(\t分隔) 查看某列含有某个内容的所有行(\t分隔) 切分文件cut 按域切分(截取文件多列) d默认为\t,可省略 如,以\t分隔的多列文件,取3 6列: 阅读全文
posted @ 2018-10-10 20:09 surimj 阅读(661) 评论(0) 推荐(0) 编辑
摘要: 基本操作 插入 i 保存 w 保存并退出 wq 不保存强制退出 q! 撤销 u 删除一行 dd 光标移动 移动到行首 0 移动到行尾 $ 复制 文件内多行复制 esc模式下: 1、v 选中复制的区域 2、y 复制 3、光标移动到要复制的开头 p 复制完成 跨文件多行复制 1、先打开其中一个文件 vi 阅读全文
posted @ 2018-09-26 20:56 surimj 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 访问远程tensorboard 在远程服务器上运行tensorflow模型时,需要借助tensorboard来可视化训练过程时,要远程访问tensorboard的方法如下: 在本地的终端连接远程服务器, L参数用来创建SSH隧道,后面接的是local port:host:remote port,创建 阅读全文
posted @ 2018-08-08 14:40 surimj 阅读(1403) 评论(0) 推荐(0) 编辑
摘要: 在项目中需要使用一批格式相同的新的数据集训练,可以不用把新的数据集拷贝到原来的训练数据目录下,而只需要在原来的训练数据目录下建立一个新数据文件的链接即可。 或者说当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后 阅读全文
posted @ 2018-08-07 19:04 surimj 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 记录实习工作中学到的新东西 服务器下ubuntu+cuda9.0+cuDNN7.0+tensorflow gpu环境搭建 1.登陆服务器 windows系统下用xshell或者MobaXterm,新建session,输入服务器ip连接。 2.安装cuda9.0 (1)在英伟达官网进入cuda下载页( 阅读全文
posted @ 2018-08-07 17:56 surimj 阅读(324) 评论(0) 推荐(0) 编辑
摘要: Error analysis Carrying out error analysis Error analysis是手动分析算法错误的过程。 通过一个例子来说明error analysis的过程。假设你在做猫图像识别的算法,它的错误率高达10%,你希望提高它的表现。 你已经有了一些改进的想法,包括: 阅读全文
posted @ 2018-02-18 15:10 surimj 阅读(712) 评论(0) 推荐(0) 编辑
摘要: Optimization algorithms 优化算法以加速训练。 Mini batch gradient descend Batch gradient descend:每一小步梯度下降否需要计算所有的训练样本。很耗时。 Mini batch gradient descend:将训练集分为很多小的 阅读全文
posted @ 2018-02-18 13:05 surimj 阅读(351) 评论(0) 推荐(0) 编辑
摘要: Setting up your optimization problem Normalizing inputs(归一化输入) 归一化输入是可以减速训练的一种方法,包括两步: 1. 均值归零 $$ \mu = \frac{1}{m}\sum_{i=1}^{m}{x^{(i)}}$$ $$x := x 阅读全文
posted @ 2018-02-02 15:31 surimj 阅读(197) 评论(0) 推荐(0) 编辑
摘要: Introduction to ML strategy Why ML strategy 可以改进ML系统的策略很多,因此教授大家一些分析ML系统的问题和选择适当有效的策略使得更有效率的提升系统性能的strategy和建立和管理大的ML系统。 Orthogonalization(正交化) 比如,老式电 阅读全文
posted @ 2018-01-31 16:18 surimj 阅读(349) 评论(0) 推荐(0) 编辑