摘要：
Hadoop编程实战——Mapreduce基本功能实现 此篇博客承接上一篇总结的HDFS编程实战，将会详细地对mapreduce的各种数据分析功能进行一个整理，由于实际工作中并不会过多地涉及原理，因此，掌握好mapreduce框架将会有助于了解sql语句在大数据场景下的底层实现原理，从而能够帮助开发 阅读全文
摘要：
Hbase高可用+完全分布式完整部署教程 本篇博客承接上一篇sqoop的部署教程，将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程，废话不多说，我们直接开始！ 1. 安装准备 部署Hbase时，我们使用的版本为1.2.8 2. 正式安装 1. 将hbase-1.2.8-bin.tar. 阅读全文
摘要：
HDFS写入过程注释解读 & 源码分析 此篇博客承接上一篇未讲完的内容，将会着重分析一下在Namenode获取到元数据后，具体是如何向datanode节点写入真实的数据的 1. 框架图展示 在开始前，还是老规矩，先上图 本篇内容将会重点介绍HDFS写入流程七大步骤中的4，5步骤，即数据包写入和数据包 阅读全文
摘要：
HDFS写入过程方法调用逻辑 & 源码注释解读 前一篇介绍HDFS模块的博客中，我们重点从实践角度介绍了各种API如何使用以及IDEA的基本安装和配置步骤，而从这一篇开始，将会正式整理HDFS的读写原理分析，由于全部一次性整理篇幅过长，本人会将这一部分的内容拆分成多篇，这一篇将会从宏观上把控整个写入 阅读全文
摘要：
HDFS文件系统——编辑日志和镜像文件详细介绍 我们知道，启动Hadoop之后，在主节点下会产生Namenode，即名称节点进程，该节点的目录下会保存一份元数据，用来记录文件的索引，而在从节点上即Datanode则会保留真实的数据，对于Namenode来说，最重要的两个文件就是Fsimage和Edi 阅读全文
摘要：
SequenceFile(Hadoop序列文件)基础知识与应用 上篇编程实战系列中本人介绍了基本的使用HDFS进行文件读写的方法，这一篇将承接上篇重点整理一下SequenceFile的相关知识及应用 1. SequenceFile简介 SequenceFile是Hadoop自带的一种键值对文件格式， 阅读全文
摘要：
Sqoop详细部署教程 Sqoop是一个将hadoop与关系型数据库之间进行数据传输，批量数据导入导出的工具，注意，导入是指将数据从RDBMS导入到hadoop而导出则是指将数据从hadoop导出到RDBMS，本篇博客承接上篇Hive的部署教程，废话不多说，直接开始流程 1. 安装准备 准备好以下安 阅读全文
摘要：
Hive详细部署教程 此篇博客承接上篇Hadoop和Zookeeper的部署教程，将会详细地对HIve的部署做一个整理，Hive相当于是封装在HDFS和Mapreduce上的一套sql引擎，只需要安装在某个集群的主节点上即可，同时需要注意安装Hive前请确保虚拟机主节点上已经安装好了mysql，那么 阅读全文
摘要：
HDFS基本API的应用(包含IDEA的基本设置) 在上一篇博客中，本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台，那么，在上一篇的基础上，我们终于可以进行编程实操了，同样，在编程前需要做一些准备工作，好了，那我们就开始吧！ 1. 编程准备 在后续的学习中，我们基本都是在用Int 阅读全文
摘要：
高可用模式下的Hadoop集群搭建 本篇博客将会在之前写过的Linux的完整部署的基础上进行，暂时不会涉及到伪分布式或者完全分布式模式搭建，由于HA模式涉及到的配置文件较多，维护起来也较为复杂，相信学会部署高可用模式了，其他模式的搭建也会比较驾轻就熟，关于各种配置文件的讲解，如果有时间会在后期另开一 阅读全文