摘要： 1.安装java 2.安装zookeeper 3.安装kafka Broker 测试：发布消息 测试：读取消息 4，broker配置 常规配置： broker.id: 默认0 每个broker都需要一个标识符，使用broker.id标识，在kafka集群里必须唯一 port 默认监听9092端口，使 阅读全文

摘要： Kafka 被称为“分布式提交日志”或“分布式流平台” 文件系统或数据库提交日志用来提供所有事务的持久记录，通过重放这些日志重建系统状态，同时Kafka数据是按照一定顺序持久化保存的，可以按需读取 Kafka数据分布在整个系统里，具有数据保障和性能伸缩能力 Kafka数据单元称为消息，类似于数据库里 阅读全文

摘要： 过滤器 过滤器是GET或者SCAN时过滤结果用的，相当于SQL的where语句 HBase中的过滤器创建后会被序列化,然后分发到各个region server中,region server会还原过滤器并使用,这样scan中,不满足条件的结果不会返回客户端 值过滤器: (针对所有列) 创建valueF 阅读全文

摘要： 阻塞急救： RegionServer内存设置太小： 解决方案： 设置Region Server的内存要在conf/hbase-env.sh中添加export HBASE_REGIONSERVER_OPTS=" $HBASE_REGIONSERVER_OPTS -Xms8g -Xmx8g" HFile 阅读全文

摘要： Master/Region Server调优 JVM调优 默认的RegionServer内存是1G，而Memstore默认占40%，即400M，实在是太小了，可以通过HBASE_HEAPSIZE参数修改（CDH界面也可以修改） 1）通用调整，同时调整MASTER Region Server vim 阅读全文

摘要： 数据模型 Namespace 表命名空间： 多个表分到一个组进行统一的管理，需要用到表命名空间 表命名空间主要是对表分组，对不同组进行不同环境设定，如配额管理 安全管理 保留表空间： HBase中有2个保留表空间是预先定义 HBase 系统表空间，用于HBase内部表 default： 哪些没有定义 阅读全文

摘要： Hadoop 服务启动顺序： zookeeper -》journalnode-》namenode -> zkfc -> datanode HBase Master WEB控制台： <Master>:60010 如果RegionServer正常启动，但是连接不上Master自己又停止，而Master/ 阅读全文

摘要： cap理论： 一致性 可用性 可靠性 任何分布式系统只能最多满足上面2点，无法全部满足 NOSQL = Not Only SQL = 不只是SQL HBase速度并不快，知识当数据量很大时它慢的不明显 HBase缺点： 数据分析是弱项，对于整个NOSQL生态圈，基本都不支持表关联 需求如下时不支持使 阅读全文

摘要： http://www.dbarun.com/docs/lepus/install/lnmp/ 注意：xampp mysqldb-python版本太高会导致lepus白屏 apache版本最好选择2.2 环境： 192.168.139.153 master_mysql 192.168.139.154 阅读全文

摘要： proxySQL是MySQL的中间件产品，是灵活强大的代理层，实现读写分离，支持Query路由功能，支持动态指定某个SQL进行缓存，支持动态加载配置，故障切换和一些SQL 过滤功能 环境： 192.168.139.152 proxy SQL中间件 server-id=1 192.168.139.15 阅读全文