DNSmasq
摘要：
是一款轻便的主要用于个人电脑的DNS；占用的端口是53（和DNS服务的bind的端口一致）；我之所以关注它，就是因为在安装DCOS的时候是不允许占用53端口；但是其实默认安装的CentOS几乎都有这个应用。 DNSmasq本身是一个代理，外加解析程序，首先他通过读取hosts来获取本地的域名解析，通 阅读全文
posted @ 2017-11-18 23:20 下士闻道 阅读(474) 评论(0) 推荐(0) 编辑
桥接以及Mercury MW54R中继
摘要：
家里连个路由器，一个是比较先进的TP-Link的TL-WR842N（100M)，另外一个是比较古老的水星（Mercury） MW54R（54M），我们知道新的路由器都有WDS功能，方便作为副路由器（中继器），但是水星没有。 TP-Link网速快，毫无疑问应该作为主路由器，水星的配置是一个问题，网上讲 阅读全文
posted @ 2017-11-18 18:22 下士闻道 阅读(1362) 评论(0) 推荐(0) 编辑
docker异常处理
摘要：
Error running DeleteDevice dm_task_run failed重启docker即可 Error starting daemon: error initializing graphdriver: \"/var/lib/docker\" contains several va 阅读全文
posted @ 2017-11-18 18:17 下士闻道 阅读(1918) 评论(2) 推荐(0) 编辑
vmware的双网卡以及Pro的注册码
摘要：
DC/OS的master需要能够上外网而且能够和本地内网设备交互，于是打算在虚拟机上面做测试，于是调研了一下虚拟机的双网卡配置。 最推荐的方式是使用vmware的station，而不是player；因为太费劲了，主要是研究一段时间并没有成果。vmware player更像倾向玩具，比如桥接只支持一个 阅读全文
posted @ 2017-11-18 14:51 下士闻道 阅读(230) 评论(0) 推荐(0) 编辑
ssh免密登录
摘要：
A（master）要免密登录B（slave1） 在机器A： ssh-keygen -t rsa -P ‘’ -t 代表生成密钥的算法，-P代表密码，''代表空密码； 中途会问是否要保存在.ssh/下面；直接敲回车，然后就会在～/.ssh下面生成一对密钥，ssh_rsa（私钥）以及ssh_rsa.pu 阅读全文
posted @ 2017-11-16 18:40 下士闻道 阅读(283) 评论(0) 推荐(0) 编辑
系统原生文件MD5值获取
摘要：
windows： certutil -hashfile filePath MD5 certutil -hashfile filePath SHA1 Linux md5sum filePath sha1sum filePath 阅读全文
posted @ 2017-11-16 18:39 下士闻道 阅读(166) 评论(0) 推荐(0) 编辑
Cloudera运维
摘要：
1. 增加一个节点 1. 拷贝cm的jar包到该节点 2. 设置hostname（hostnamectl set-hostname XXX），然后修改hosts文件 3. 所有的节点添加该hostname 4. 修改agent配置文件，指向cloudera manager节点；启动cm 5. 进入到 阅读全文
posted @ 2017-11-07 15:59 下士闻道 阅读(1403) 评论(0) 推荐(0) 编辑
一次spark卡顿分析
摘要：
在104上面执行，经常会发生卡到了如下一句话： storage.BlockManagerInfo: Added broadcast_8_piece0 当再次卡顿的时候，我直接退出，然后通过yarn看后台的日志到底发生了什么，一看在这个地方频繁的爆出链接zookeeper失败；一看日志中的打出来的zo 阅读全文
posted @ 2017-11-07 15:54 下士闻道 阅读(508) 评论(0) 推荐(0) 编辑
HBase的bulkLoad
摘要：
HBase的BulkLoad有两种方式： thinrow的机制是flatmap把cell的信息进行flatmap；适合少于1万列的数据集；thinrow的涵义就是少行多列； bulkload的机制则是flatmap的是行，把行在拆分为cell是在map里面做的。适合多余1万列的数据集。 thinro 阅读全文
posted @ 2017-11-05 19:32 下士闻道 阅读(742) 评论(0) 推荐(0) 编辑
