摘要: 一、以3个几点为例,分别为master、slave01、slave02 1、分别生成自己节点密钥对 master: 2、分别将slave01、slave02上的公钥发送到master上 [root@slave01 .ssh]# scp -r /root/.ssh/id_dsa.pub master: 阅读全文
posted @ 2019-03-29 17:29 xiaolaotou 阅读(387) 评论(0) 推荐(0) 编辑
摘要: 文件数目过多,会给HDFS带来压力,并且会影响处理效率,可以通过合并Map和Reduce的结果文件来消除这样的影响: set hive.merge.mapfiles = true ##在 map only 的任务结束时合并小文件 set hive.merge.mapredfiles = false 阅读全文
posted @ 2019-03-29 15:26 xiaolaotou 阅读(7530) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/yueyedeai/article/details/14648111 1、修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024,如果不进行修改,并发量上来的时候会出现“Too Many Open Files”的错误,导致整个H 阅读全文
posted @ 2019-03-29 14:59 xiaolaotou 阅读(1586) 评论(0) 推荐(0) 编辑