05 2019 档案
摘要：Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘 分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HB
阅读全文
摘要：为了开发测试方便，想直接在 IDEA 里运行 Spark 程序，可以连接 Hive，需不是打好包后，放到集群上去运行。主要配置工作如下： 1. 把集群环境中的 hive-core.xml, hdfs-site.xml, core-site.xml 三个文件复制一份，放到 resource 目录下。网
阅读全文
摘要：HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase，不知道为什么，总是过几天就挂掉，暂时还没找到原因。后来想着让它使用外部的 HBase 看看会不会还有此问题。配置如下： 前提： Ambari 中已经装好 YARN 和 HBase 了。 （1）把 YARN
阅读全文
