大羽治不了水

2020年8月26日

摘要：以前说到数据驱动业务增长，我们第一个想到的可能是数据分析的方法。但就目前来看，数据驱动业务的增长已经成为一个不仅仅是分析方法和模型，而是包括了数据人才培养、数据架构的设计，甚至整个公司组织架构设计的企业治理问题。所以，今天我想从途家数据团队的发展、部门的构成及职责这两个方面去跟大家分享一下途家网的一阅读全文

posted @ 2020-08-26 10:14 大羽治不了水阅读(259) 评论(0) 推荐(0) 编辑

2020年8月6日

CDH安装过程中出现的问题（八）- 最坑的问题

摘要：在安装hive服务的时候，创建元数据库表失败：显示是执行脚本的时候hadoop中的which 的权限不足：which：Permission denied 开始怎么都不相信是这个原因解决办法：加入set -x显示bin的值，然后直接赋值这个文件要分发到其他的主机上直接给bin赋值，权限问题搞阅读全文

posted @ 2020-08-06 14:35 大羽治不了水阅读(167) 评论(0) 推荐(0) 编辑

CDH安装过程中出现的问题（七）-CDH Hue Load Balancer 无法启动

摘要： CDH 监控界面显示如下： Hue Load Balancer 查看日志时，并没有生成日志 Hue 日志这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的添加这两个服务这里使用yum安装这两个服务执行下面的命令 yum -y install httpd mod_ssl 阅读全文

posted @ 2020-08-06 14:28 大羽治不了水阅读(493) 评论(0) 推荐(0) 编辑

2020年8月5日

CDH安装过程中出现的问题（六）

摘要：报错：Heartbeating to master:7182 failed. 报错背景： cloudera-scm-agent 可以启动并且存活报错现象：查看报错日志：/opt/cm-5.15.1/log/cloudera-scm-agent/cloudera-scm-agent.log 报错日阅读全文

posted @ 2020-08-05 13:09 大羽治不了水阅读(520) 评论(0) 推荐(0) 编辑

CDH安装过程中出现的问题（五）- Unable to retrieve remote parcel repository manifest

摘要：报错：ERROR ParcelUpdateService:com.cloudera.parcel.components.ParcelDownloaderImpl: Unable to retrieve remote parcel repository manifest 报错背景： CDH断电后重启失阅读全文

posted @ 2020-08-05 11:32 大羽治不了水阅读(2161) 评论(1) 推荐(0) 编辑

CDH安装过程中出现的问题（四）

摘要：在重装CDH的时候需要删除文件遇到，无法删除文件夹，总是Device or resource busy，查了资料，总结一下原因 1.rm -rf {mydir}/ 删除不了，可能挂载了盘在这个目录，所以，删除不了，先卸载了目录上的盘，格式化挂载磁盘，然后在删除目录 [root@localhost / 阅读全文

posted @ 2020-08-05 11:31 大羽治不了水阅读(184) 评论(0) 推荐(0) 编辑

CDH安装过程中出现的问题（三）- CDH启动agent失败

摘要：启动agent 日志报错信息如下cd /opt/cm-5.16.0/log/cloudera-scm-agenttail -n 200 cloudera-scm-agent.logProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauth 阅读全文

posted @ 2020-08-05 11:27 大羽治不了水阅读(2095) 评论(0) 推荐(0) 编辑

CDH安装过程中出现的问题（二）

摘要：使用CM自带的脚本，在MySQL中创建CM库 [root@hadoop3 cm-5.16.1]# /opt/module/cm/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop3 -uroot -p123456 阅读全文

posted @ 2020-08-05 11:24 大羽治不了水阅读(912) 评论(0) 推荐(0) 编辑

CDH安装过程中出现的问题（一）

摘要：分别在hadoop102、hadoop103、hadoop104创建用户cloudera-scm [root@hadoop102 module]# useradd \ --system \ --home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server 阅读全文

posted @ 2020-08-05 10:36 大羽治不了水阅读(263) 评论(0) 推荐(0) 编辑

集群同步脚本

摘要： 1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@hadoop1 ~]$ mkdir bin [root@hadoop1 ~]$ cd bin/ [root@hadoop1 bin]$ vi xsync 在该文件中编写如下代码，需要安装rsync: 阅读全文

posted @ 2020-08-05 10:26 大羽治不了水阅读(216) 评论(0) 推荐(0) 编辑