Xiaohu_BigData

2020年1月3日

摘要：启动顺序 Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase 停止顺序 Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer 启动和停止ZK /home/zookeeper-3.4.6/bin/zkServer 阅读全文

posted @ 2020-01-03 22:14 Xiaohu_BigData 阅读(3224) 评论(0) 推荐(1) 编辑

Week09_day05(Hbase的安装搭建)

摘要：搭建完全分布式集群 HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性.现在就以5台机器为例，搭建一个简单的集群. 软件版本：hbase-0.98.12.1-hadoop2-bin.tar.gz 3台机器IP：192.16 阅读全文

posted @ 2020-01-03 22:11 Xiaohu_BigData 阅读(301) 评论(0) 推荐(0) 编辑

Week09_day05(Hbase的介绍和工作原理)

摘要： HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B 阅读全文

posted @ 2020-01-03 21:55 Xiaohu_BigData 阅读(230) 评论(0) 推荐(0) 编辑

2019年12月29日

Week08_day07（DataX从mysql上读取数据传输到HDFS上）

摘要：简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件的模式，目前已开源，代码托管在github。 Data 阅读全文

posted @ 2019-12-29 21:52 Xiaohu_BigData 阅读(818) 评论(0) 推荐(0) 编辑

Sqoop增量导入注意事项 incremental lastmodified与target-dir连用报错 Imported Failed: Wrong FS

摘要：这里引用一篇博客写的很好 https://blog.csdn.net/C_time/article/details/101109071 阅读全文

posted @ 2019-12-29 10:38 Xiaohu_BigData 阅读(309) 评论(0) 推荐(0) 编辑

2019年12月28日

大数据之路Week08_day06 (Zookeeper搭建）

摘要： Zookeeper集群搭建在本文中Zookeeper节点个数（奇数）为3个。Zookeeper默认对外提供服务的端口号2181 。Zookeeper集群内部3个节点之间通信默认使用2888:3888 192.168.129.101 192.168.129.102 192.168.129.103 下阅读全文

posted @ 2019-12-28 15:34 Xiaohu_BigData 阅读(269) 评论(0) 推荐(0) 编辑

大数据之路Week08_day06 (Zookeeper初识）

摘要：让我们来回顾一下我们在学习Hadoop中的HDFS的时候，肯定见过下面这样的两幅图：这副图代表着什么呢？它介绍的是Hadoop集群的高可靠，也就是前面提过的HA，仔细观察一下这副图，我们发现有两个NameNode，只不过一个是活跃的状态，一个是热备状态，什么是热备状态？比如说在之前的Hadoop 阅读全文

posted @ 2019-12-28 15:23 Xiaohu_BigData 阅读(159) 评论(0) 推荐(0) 编辑

2019年12月27日

阿里巴巴开源ETL(数据的抽取、转换、加载)工具-----DataX

摘要：一个比Sqoop好用的数据传输工具下载maven的时候，加一个 -P让下载的压缩包到指定目录而要让档案自动储存到指令的目录下，则需要借用-P这个参数wget -p 目录网址wget -P /root/download 网址解压的时候：其中用到了tar这个命令，发现在Qt中的file取得路径阅读全文

posted @ 2019-12-27 20:40 Xiaohu_BigData 阅读(2295) 评论(0) 推荐(0) 编辑

2019年12月25日

大数据之路Week08_day03 (Hive的动态分区和分桶）

摘要：一、动态分区先来说说我对动态分区的理解与一些感受吧。由于我们通过hive去查询数据的时候，实际还是查询HDFS上的数据，一旦一个目录下有很多文件呢？而我们去查找的数据也没有那么多，全盘扫描就会浪费很多时间和资源。为了避免全盘扫描和提高查询效率，引入了分区的概念。分区的展现形式，就是在HDFS 阅读全文

posted @ 2019-12-25 20:29 Xiaohu_BigData 阅读(396) 评论(0) 推荐(0) 编辑

大数据之路Week08_day03 (Hive优化）

摘要： Hive优化（下面的红色标记是十分重要的，大部分情况是需要开启的）优化1：hive的抓取策略理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们省略掉了这个过程，把切片split的过程提前帮我们做了。Set hive.fetch.task.conversio 阅读全文

posted @ 2019-12-25 16:13 Xiaohu_BigData 阅读(263) 评论(0) 推荐(0) 编辑

公告