摘要:
pom首位添加: <dependency> <groupId>com.yammer.metrics</groupId> <artifactId>metrics-core</artifactId> <version>2.2.0</version></dependency> 阅读全文
摘要:
Flume采集的控制台提示:The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大,深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 阅读全文
摘要:
出现此问题可能是zookeeper不稳定造成的,采用的是虚拟机,经常挂起的状态,使用hbase的list命令出现下面错误,这个可能是hbase的稳定性造成的,解决办法有两种。这里使用第一种办法就解决了。 解决方法:1.重启hbasestop-hbase.sh、然后start-hbase.sh或者,要 阅读全文
摘要:
HMaster和HRegionServer是Hbase的两个子进程,但是使用jps发现没有启动起来,所以去我们配置的logs查看错误信息。提示:Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab 阅读全文
摘要:
一、HBase的RK设计 HBase读写数据大多数是通过RK,MemStore/HFile存储也是按照字典顺序排列的RK存储,所以要关注RK。 RowKey设计原则: 1)长度原则: RowKey不应该超过16字节,因为若是过长再以KV形式存储,对于HFile和MemStore来说会极大的占用存储空 阅读全文
摘要:
设置NameNode和DataNode时间同步。在每台设备上使用以下两条命令: cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimentpdate pool.ntp.org 阅读全文
摘要:
YARN的Memory和CPU调优配置详解 Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Contain 阅读全文
摘要:
IDEA程序访问Mysql,出现权限异常。SQLException: Access denied for user 'root'@'192.168.119.1' (using password: YES) 应该是mysql中的特定库、特定表等对特定的用户、特定的ip开放。 所以可以修改一下,在mys 阅读全文
摘要:
IDEA中的scala项目访问HDFS,程序运行,可能出现的异常: 权限问题:Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数,因为HDFS上的文件所属的用户是ha 阅读全文
摘要:
IDEA程序代码中需要访问mysql,出现 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6 出现连接相关的问题的时候,如何进行思考呢: 1)ip,port,db名字有 阅读全文