摘要：
ResourceManager相关配置参数yarn-site.xml 中配置yarn.resourcemanager.addressResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostn... 阅读全文
摘要：
项目打包后执行报错：Configuration problem: Unable to locate Spring NamespaceHandler for XML schema namespacehttp://www.springframework.org/schema/tx直接执行main类没问题... 阅读全文
摘要：
1. 在CM中主机页里，选定要删除的服务器，选择操作“从群集中删除”。2. 登录到主机，执行chkconfig，显示有cloudera-scm-agent服务，执行service cloudera-scm-agent stop，将cm 的agent服务停掉，否则如果agent继续发送心跳，则CM又会... 阅读全文
摘要：
用例场景： 定时从远程多台机器上下载文件存入HDFS中。一开始采用shell 一对一的方式实现，但对于由于网络或者其他原因造成下载失败的任务无法进行重试，且如果某台agent机器down机，将导致它对应的所有下载服务中断，重新提交下载任务也极为麻烦。故考虑采用redis队列来实现与机器无关的job提... 阅读全文
摘要：
1. RDD是什么RDD：Spark的核心概念是RDD (resilient distributed dataset)，指的是一个只读的，可分区的弹性分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间可重复使用。2. 为什么会产生RDD？（1）传统的MapReduce虽然具有自动容错... 阅读全文
摘要：
占坑 阅读全文
摘要：
占坑. 阅读全文
摘要：
占坑。 阅读全文
摘要：
在spark安装之前，应该已经安装了hadoop原生版或者cdh，因为spark基本要基于hdfs来进行计算。1. 下载spark： http://mirrors.cnnic.cn/apache//spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.3.tgzscal... 阅读全文
摘要：
现象： 执行mapreduce任务时失败通过hadoop fsck -openforwrite命令查看发现有文件没有关闭。[root@com ~]# hadoop fsck -openforwrite /data/rc/click/mpp/15-08-05/DEPRECATED: Use of th... 阅读全文