随笔分类 - hortonworks
摘要：Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘 分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HB
阅读全文
摘要：HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase，不知道为什么，总是过几天就挂掉，暂时还没找到原因。后来想着让它使用外部的 HBase 看看会不会还有此问题。配置如下： 前提： Ambari 中已经装好 YARN 和 HBase 了。 （1）把 YARN
阅读全文
摘要：HDP 上安装了 Hive3.1 和 Spark2, 提交 Spark 作业时，报找不到 Hive 中表的问题 但是查一了下 hive 表，明明是存在这个表的。查看日志，注意到如下的一段日志。 没修改值之前，我在 Spark-shell 里创建了一张 hive 表，发现其创建的位置是 spark.s
阅读全文
摘要：用 hortonworks（V3.1.0.0） 部署了 ambari （V2.7.3），用 ambari 部署了 hadoop 及 hive。 1. 启动 kylin（V2.6）时，遇到如下问题： 经过查找，最后一行的错误信息是在 find-hive-dependency.sh 这个脚本中的，查看此
阅读全文
摘要：1. 打开 http://192.168.242.181:8080 登陆的用户名/密码是 ： admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”，开始创建一个集群 3. 为集群取一个名字 4. 前面我们建了本地的资源库，这里选择 “Use Local Reposito
阅读全文
摘要：1. 安装 2. ambari server 需要一个数据库存储元数据，默认使用的 Postgres 数据库。默认的用户名和密码是： ambari/bigdata 。但是一般情况下，后面还要安装 hive 和 Ranger，也需要一个存元数据的数据库，所以使用一个mysql 做为数据库。需要为 am
阅读全文
摘要：安装 Ambari，最后是为了用它部署 hadoop 集群。安装时默认使用的是 hortonworks 远程的资源，用它部署集群时，需要下载 Hadoop、Hive、HBase 的安装包，速度很慢。我部署时，老是失败。所以按照官方文档，建一个本地资源库。预先下载好包，放在一台电脑上，然后把这台电脑配
阅读全文
摘要：Ambari 没有简单的 .tar.gz 结尾的包（反正我找到）。apache 官网提供的安装方法，是要下载源码，自己编译成安装包安装。说明文档还不够细。编译的时候是用 maven，照理来说不应该会失败的。但是我总是失败，报找不到类的错误。maven 的仓库中明明是有的。遇到各种奇葩问题。实际生产环
阅读全文
摘要：1. 下载并解压安装脚本： Hortonworks Data Platform (HDP) for Docker 2. 进入到解压后的目录，运行下面的命令，{HDPversion} 需要替换成相应目录里的版本： 这一步会花很长时间，需要拉取 docker 镜像（hortonworks/sandbox
阅读全文
