摘要：
准备4台机器，一台做namenode和jobtracker，假设它主机名和ip都是master。三台机器做datanode，主机名和ip分别是d1-d3，统称为ds。网络互通。 首先准备ssh。因为hdfs是分布式文件系统，并且node之间会有各种操作，所以需要打通ssh。方法是在所有机器上生成ke 阅读全文
摘要：
机器A和B，假设hostname和ip都是A, B 首先都下载kafka 并且在A上安装好zookeeper，并且设kafka-A的zk为A:2181 A机器保持原样，去B机器修改config/server.properties 然后启动即可。因为都注册到一个zk，所以组成cluster，2个bro 阅读全文
摘要：
According to this instruction 需求：A是集群主节点，B的是新节点或者挂掉的节点，需要加进去 阅读全文
摘要：
说明 项目: https://github.com/claudemamo/kafka-web-console 添加zookeeper后，发现相应的kafka，实现对topic，consumer等的查看，性能分析等 用途 目前主要是方便实时查看消息，对开发比较方便，不需要写consumer 阅读全文
摘要：
Locust是蝗虫的意思，估计作者是比喻像漫天的蝗虫过境那个壮观景象吧😄 这个工具的特点： 系统嘛，压压更健康～～ 阅读全文
摘要：
rabbitmq的队列并不是分布在集群中，而且每个节点维护自己的 假设A B组成一个集群，rabbit域名或elb指向A，那么client会连接到A。但如果目标queue在B上，rabbit就会有一个内部的“转发机”的机制来维护，相当于代理一样。通过该机制，client仍能正常操作queue 但有一 阅读全文
摘要：
linux给我们提供的是/proc/meminfo或者更直观的free命令，这个命令输出 关于mem percent算法，很多种说法。有的说used/total，也有说各种组合/total amazon aws的算法： mem% = (used - buffers - cached)/total 认 阅读全文
摘要：
utf8是三字节一个字符，而emoj表情是四子节，所以需要将字符集变更为utf8mb4。后者对utf8是兼容的。 对于已有数据的生产库，变更流程如下： 非常重要！不要在繁忙时段操作，否则锁表的后果不可预计 阅读全文
摘要：
程序异常如下：Caused by: com.datastax.driver.core.exceptions.WriteTimeoutException: Cassandra timeout during write query at consistency LOCAL_ONE (1 replica 阅读全文
摘要：
以下纯属个人意见 spark作为一种实时或历史数据计算方案，有如下几个特点： 当然也有缺点： 写spark job的原则： 阅读全文