摘要：
版本：1.6.0-cdh5.12.2 1. 增加JVM ，在cloudera server服务器上修改文件：/opt/cloudera/parcels/CDH-5.12.2-1.cdh5.12.2.p0.4/lib/flume-ng/bin/flume-ng JAVA_OPTS="-Xmx20m"为 阅读全文
摘要：
1. 创建topic /opt/cloudera/parcels/KAFKA-2.0.2-1.2.0.2.p0.5/lib/kafka/bin/kafka-topics.sh --create --zookeeper duan140:2181 --replication-factor 1 --par 阅读全文
摘要：
1. kafka官网提供测试脚本 （1） 生产者测试脚本kafka-producer-perf-test.sh 参数说明： --topic topic名称， --num-records 总共需要发送的消息数， --record-size 每个记录的字节数， --throughput 每秒钟发送的记录 阅读全文
摘要：
1. flume http source 配置详见我的另一篇博客：flume 之 http source 2. 考虑平台安全性，采用nginx反向代理 配置文件如下： 3. jmeter 添加http 测试项 3.1. 添加线程组 新建的窗口，参数选择默认，后续可根据测试要求调整。 3.2. 添加 阅读全文
摘要：
1. flume为大数据平台数据采集工具，可以根据应用场景合理定制不同的source，channel，sink 。详细分类可参考https://www.cnblogs.com/zhangyinhua/p/7803486.html#_lab2_2_3和官网：http://flume.apache.or 阅读全文
摘要：
1. hbase regionserver频繁挂掉 从日志中没有发现任何错误，网上普遍答案是内存不足，所以修改hbase-env.xml文件。修改为 hbase.regionserver.msginterval改为30s。 zookeeper.session.timeout为120s hbase.c 阅读全文
摘要：
一 问题描述 CDH集群启用 HTTP Web 控制台的 Kerberos 身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070，Yarn的8088)等出现错误： GSSException: Defectiv 阅读全文
摘要：
1. impala daemon启动失败 在HDFS中配置授权的用户，添加impala，另外添加hdfs，hive，yarn，zookeeper，mapred。 2. 无法链接impala daemon（Could not connect to duan140:21000） 查看/var/log/i 阅读全文
摘要：
链接：https://blog.csdn.net/wangyangzhizhou/article/details/51163782 1. kerberos通信 ①客户端根据自己用户名向密钥分发中心KDC的身份认证服务AS请求TGS票证。 ②AS生成一个TGS票证、查询对应用户的密码，然后通过用户密码 阅读全文
摘要：
一 简介 CDH大数据集群安装和使用过程中，涉及到很多用户。根据用户性质分为服务用户和使用用户。服务用户是在搭建CDH集群中自动创建的，使用用户是在集群使用中管理员创建的。这些用户都是基于linux的用户。因此先补充一下linux 用户知识。 二 Linux 用户操作 1. 查看用户信息 whoam 阅读全文