02 2019 档案
摘要：1. 下载官方的 box 文件。 官方box列表 2. 在本地创建一个目录。如： D:\test\ 3. 运行 cmd 命令，并进入 d:\test 目录 4. 添加前面下载的 box。 添加 box 命令格式：vagrant box add <本地 box 名称(自己随便定义)> <box 文件（
阅读全文
摘要：1. 使用 Tez 2. 使用 ORCFILE。当有多个表 join 时，使用 ORCFile 进行存储，会显著地提高速度。 3. 使用 VECTORIZATION。会提高 scans, aggregations, filters and joins 等操作的性能。它会把 1024条记录做为一批进行
阅读全文
摘要：官方给的教程比较简单，需要事先安装的工具也是这里列一点，那里列一点。在此记录一下编译要点（在 centos 7 下）。 1. 事先需要安装的工具 2. 安装 maven, JDK8 3. 下载 python2.7 设置工具 4. 下载完成后，运行下面的命令 5. 设置环境变量 6. 运行下面的命令。
阅读全文
摘要：用 hortonworks（V3.1.0.0） 部署了 ambari （V2.7.3），用 ambari 部署了 hadoop 及 hive。 1. 启动 kylin（V2.6）时，遇到如下问题： 经过查找，最后一行的错误信息是在 find-hive-dependency.sh 这个脚本中的，查看此
阅读全文
摘要：1. 打开 http://192.168.242.181:8080 登陆的用户名/密码是 ： admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”，开始创建一个集群 3. 为集群取一个名字 4. 前面我们建了本地的资源库，这里选择 “Use Local Reposito
阅读全文
摘要：1. 安装 2. ambari server 需要一个数据库存储元数据，默认使用的 Postgres 数据库。默认的用户名和密码是： ambari/bigdata 。但是一般情况下，后面还要安装 hive 和 Ranger，也需要一个存元数据的数据库，所以使用一个mysql 做为数据库。需要为 am
阅读全文
摘要：安装 Ambari，最后是为了用它部署 hadoop 集群。安装时默认使用的是 hortonworks 远程的资源，用它部署集群时，需要下载 Hadoop、Hive、HBase 的安装包，速度很慢。我部署时，老是失败。所以按照官方文档，建一个本地资源库。预先下载好包，放在一台电脑上，然后把这台电脑配
阅读全文
摘要：Ambari 没有简单的 .tar.gz 结尾的包（反正我找到）。apache 官网提供的安装方法，是要下载源码，自己编译成安装包安装。说明文档还不够细。编译的时候是用 maven，照理来说不应该会失败的。但是我总是失败，报找不到类的错误。maven 的仓库中明明是有的。遇到各种奇葩问题。实际生产环
阅读全文
