随笔分类 - operation and maintenance
摘要：less /var/log/cassandra/system.log 这个时候其实是cassandra检测到commit log不一致，如果conf里commit_failure_policy: stop，就会停下来 如果忽略这个错误，改为commit_failure_policy: ignore
阅读全文
摘要：rabbitmq官方认可的压测工具是开源的PerfTest，在rabbitmq官网可下载 使用方式： id: test-203741-943, starting producer #0id: test-203741-943, starting producer #0, channel #0id: t
阅读全文
摘要：高版本nginx可支持四层代理，即tcp代理 官网下载解压后： 四层代理： upstream mysql{server: xxx:3306} server { proxy_pass mysql; }
阅读全文
摘要：借助于hdfs（具体可参考 搭建hadoop），再搭建hbase就十分方便 hbase需要hdfs，zookeeper。所以自建一个zk server 环境： master：主机名/ip都是master d1-d3：主机名/ip分别是d1-d3，统称为ds zk在d1上 以下操作均在master上完
阅读全文
摘要：准备4台机器，一台做namenode和jobtracker，假设它主机名和ip都是master。三台机器做datanode，主机名和ip分别是d1-d3，统称为ds。网络互通。 首先准备ssh。因为hdfs是分布式文件系统，并且node之间会有各种操作，所以需要打通ssh。方法是在所有机器上生成ke
阅读全文
摘要：linux给我们提供的是/proc/meminfo或者更直观的free命令，这个命令输出 关于mem percent算法，很多种说法。有的说used/total，也有说各种组合/total amazon aws的算法： mem% = (used - buffers - cached)/total 认
阅读全文
摘要：pssh的ip列表有2种输入方式： 通常情况下会有很多个主机，整理为iplist文件使用。但每次都要做文件和维护文件是挺麻烦的一件事，希望能有个动态结果，比如cat或其他命令的结果作为输入，像管道一样 实现如下：
阅读全文
摘要：NFS是network filesystem，通过网络共享一块磁盘。这里有一篇很好的教程，可以follow step by step 实际步骤：实例A，B创建NFS 首先在aws添加ebs并附加到A A机 #创建pv apt-get install lvm2 ls /dev/xv* pvcreate
阅读全文
摘要：cassandra比较智能，需要做的工作不多。 A：10..1 单节点cluster B：10..2 需要加入的新机器 步骤：
阅读全文
摘要：搭建ftp这个过程巨多坑，问题是网上所有指导文章没有一个是step-by-step-then-work，每个坑都要各种google。经过各种失败总结如下： 安装 模式选择 ftp分主动模式和被动模式两种，简单来说前者是server主动访问client，后者是client主动访问server。个人建议
阅读全文
摘要：Linux shell中xargs是管道的好帮手，可以帮助我们使用参数。以下2点很实用：
阅读全文
摘要：ansible作为运维利器十分方便，如果部署服务，尽量用串行比较保险。答案来自 stackoverflow -- You can use the forks with adhoc command and serial: 1 inside the playbook. On adhoc command:
阅读全文
摘要：现象 服务器连不上，kafka报connection refused 测试发现kafka某台node(xx)的问题，登录上去也各种错误，zkServer.sh restart可以完成，但status报连不上。报错比较迷惑人，打开java log看到其他错误： —————————— kafka com
阅读全文