11 2018 档案
摘要:Sqoop 是 Cloudera 公司创造的一个数据同步工具,现在已经完全开源了。 目前已经是 hadoop 生态环境中数据迁移的首选,另外还有 ali 开发的 DataX 属于同类型工具,由于社区的广泛使用和文档的健全,调研之后决定使用 Sqoop 来做我们之后数据同步的工具。 我们首先来看下 S
阅读全文
摘要:集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些。 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点。去将 zk 角色调整到三个节点。 上一张目前的角色图 下面我将分别列出各应用的各个简写代表的意义: Hbase
阅读全文
摘要:我觉得这个方案用来解决 linux 机器上面 apt-get 和 yum 国外源拉去取过慢的问题还是还不错的。 参看下面两个教程。 Reference: https://brickyang.github.io/2017/01/14/CentOS-7-%E5%AE%89%E8%A3%85-Shadow
阅读全文
摘要:这次搭建我使用的机器 os 是 Centos7.4 RH 系的下面以流的方式纪录搭建过程以及注意事项 Step1: 配置域名相关,因为只有三台机器组集群,所以直接使用了 hosts 的方法: Step2: 关闭防火墙 Step3: 启动 NTP 服务 所有机器完成上面配置之后,我们开始进入安装的步骤
阅读全文
摘要:从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 docker 评估完相关组件和一些功能之后,接下来就是使用 CDH express 版本来搭建集群。
阅读全文
摘要:想用 CDH 大礼包,于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了: 首先前往官方下载包: https://www.cloudera.com/downloads/quickstart_vms/5-13.html 如果使用 mac 并
阅读全文