随笔分类 -  大数据

摘要:安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS 7.4 x64 32G 192.168.1.2 bigdata003-dev Cent OS 7.4 阅读全文
posted @ 2019-02-19 12:32 尚墨 阅读(666) 评论(0) 推荐(0) 编辑
摘要:Hue 更改默认数据 1. 需要安装 mysql 一下包 mysql-server mysql-devel mysql-shared mysql-client mysql-python shared 会有一个 libmysql 的连接文件,如果不装 shared mysql 是可以正常使用的,但在替 阅读全文
posted @ 2018-09-08 14:29 尚墨 阅读(989) 评论(0) 推荐(0) 编辑
摘要:# 安装前的准备 useradd huedev wget https://github.com/cloudera/hue/archive/release-4.2.0.tar.gz -O /home/huedev wget http://ftp.jaist.ac.jp/pub/apache/maven 阅读全文
posted @ 2018-09-08 14:24 尚墨 阅读(481) 评论(0) 推荐(0) 编辑
摘要:HBase 数据读写过程描述 我们熟悉的在 Hadoop 使用的文件格式有许多种,例如: Avro:用于 HDFS 数据序序列化与 Parquet:常见于 Hive 数据文件保存在 HDFS中 HFile HFile 是 HBase 使用的一种柱状存储文件,非常适合随机和实时读写。 HFile 文件 阅读全文
posted @ 2018-08-24 15:17 尚墨 阅读(1002) 评论(0) 推荐(0) 编辑
摘要:今天新部署Cloudera Manager Hadoop(CDH)集群 发现祖国江山一片红,所有服务都报时钟偏差 1、查看各服务器,时钟是否正确 发现并无问题 2、查看CDH主机配置————主机时钟偏差阈值 尼玛,这个默认值警告是2s,严重是10s,仔细查看界面后面的描述如下: 这是主机运行状况测试 阅读全文
posted @ 2018-01-11 19:15 尚墨 阅读(1669) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
主题色彩