摘要: pom首位添加: <dependency> <groupId>com.yammer.metrics</groupId> <artifactId>metrics-core</artifactId> <version>2.2.0</version></dependency> 阅读全文
posted @ 2020-03-21 18:39 lemon胡 阅读(1360) 评论(0) 推荐(0) 编辑
摘要: Flume采集的控制台提示:The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大,深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 阅读全文
posted @ 2019-12-28 22:01 lemon胡 阅读(2808) 评论(1) 推荐(0) 编辑
摘要: 出现此问题可能是zookeeper不稳定造成的,采用的是虚拟机,经常挂起的状态,使用hbase的list命令出现下面错误,这个可能是hbase的稳定性造成的,解决办法有两种。这里使用第一种办法就解决了。 解决方法:1.重启hbasestop-hbase.sh、然后start-hbase.sh或者,要 阅读全文
posted @ 2019-12-28 19:36 lemon胡 阅读(1967) 评论(0) 推荐(0) 编辑
摘要: HMaster和HRegionServer是Hbase的两个子进程,但是使用jps发现没有启动起来,所以去我们配置的logs查看错误信息。提示:Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab 阅读全文
posted @ 2019-12-28 19:32 lemon胡 阅读(5887) 评论(0) 推荐(2) 编辑
摘要: 一、HBase的RK设计 HBase读写数据大多数是通过RK,MemStore/HFile存储也是按照字典顺序排列的RK存储,所以要关注RK。 RowKey设计原则: 1)长度原则: RowKey不应该超过16字节,因为若是过长再以KV形式存储,对于HFile和MemStore来说会极大的占用存储空 阅读全文
posted @ 2019-12-28 19:30 lemon胡 阅读(455) 评论(0) 推荐(0) 编辑
摘要: 设置NameNode和DataNode时间同步。在每台设备上使用以下两条命令: cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimentpdate pool.ntp.org 阅读全文
posted @ 2019-12-26 23:38 lemon胡 阅读(406) 评论(0) 推荐(0) 编辑
摘要: YARN的Memory和CPU调优配置详解 Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Contain 阅读全文
posted @ 2019-12-26 22:01 lemon胡 阅读(326) 评论(0) 推荐(0) 编辑
摘要: IDEA程序访问Mysql,出现权限异常。SQLException: Access denied for user 'root'@'192.168.119.1' (using password: YES) 应该是mysql中的特定库、特定表等对特定的用户、特定的ip开放。 所以可以修改一下,在mys 阅读全文
posted @ 2019-12-26 18:32 lemon胡 阅读(1559) 评论(0) 推荐(0) 编辑
摘要: IDEA中的scala项目访问HDFS,程序运行,可能出现的异常: 权限问题:Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数,因为HDFS上的文件所属的用户是ha 阅读全文
posted @ 2019-12-26 18:31 lemon胡 阅读(708) 评论(0) 推荐(0) 编辑
摘要: IDEA程序代码中需要访问mysql,出现 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6 出现连接相关的问题的时候,如何进行思考呢: 1)ip,port,db名字有 阅读全文
posted @ 2019-12-26 18:30 lemon胡 阅读(915) 评论(0) 推荐(0) 编辑