随笔分类 -  8、大数据

大数据学习环境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1)
摘要：node1192.168.1.11node2192.168.1.12node3192.168.1.13备注NameNodeHadoopYY高可用DateNode YYYResourceManager YY高可用NodeManagerYYYJournalNodes YYY奇数个,至少3个节点ZKFC（DFSZKFailoverController）YY 有namenode的地方就有ZKFCQuo... 阅读全文
posted @ 2017-06-28 13:04 江正军 阅读(3812) 评论(0) 推荐(0) 编辑
hadoop2.7.3编译，支持snappy、bzip2本地压缩
摘要：软件包： apache-ant-1.9.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gz apache-tomcat-6.0.44.tar.gz CentOS-6.9-x86_64-minimal.iso findbugs-3.0.1.tar.gz hadoop- 阅读全文
posted @ 2017-06-22 16:49 江正军 阅读(3462) 评论(0) 推荐(1) 编辑
Hadoop学习笔记
摘要：1 气象数据导入... 4 2 Mapper、Reducer类... 5 3 找最高气温... 7 4 JOB JAR运行... 9 5 数据流... 9 6 combiner. 11 6.1 Hadoop2 NameNode元数据相关文件目录解析... 12 7 MapReduce输入输出类型.. 阅读全文
posted @ 2017-01-25 11:31 江正军 阅读(3235) 评论(1) 推荐(1) 编辑
HIVE开发总结
摘要：基本数据类型... 3 查看所有函数... 3 搜索函数... 3 搜索表... 4 查看函数使用方法... 4 关键字补全... 4 显示表头... 4 SET环境变量... 5 查看建表语句、数据文件置... 5 执行外部命令... 6 NVL. 6 CONCAT. 7 IF. 7 CASE. 阅读全文
posted @ 2017-01-25 11:20 江正军 阅读(6997) 评论(3) 推荐(1) 编辑
CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装
摘要：1 VM网络配置... 3 2 CentOS配置... 5 2.1 下载地址... 5 2.2 激活网卡... 5 2.3 SecureCRT. 5 2.4 修改主机名... 6 2.5 yum代理上网... 7 2.6 安装ifconfig. 8 2.7 wget安装与代理... 8 2.8 安装 阅读全文
posted @ 2017-01-24 22:16 江正军 阅读(3957) 评论(1) 推荐(0) 编辑