摘要：
Hadoop 基础知识 大数据已经火了很长很长时间了，从最开始是个公司都说自己公司的数据量很大，我们在搞大数据。到现在大数据真的已经非常成熟并且已经在逐渐的影响我们的生产生活。你可能听过支付宝的金融大数据，滴滴的出行大数据以及其他的诸如气象大数据等等，我们每个人都是数据的制造者，以后又将享受大数据技 阅读全文
摘要：
HDFS 读写流程 我们知道在HDFS中我们的文件按数据块进行存储，那么当我们写入或者读取一个文件的时候HDFS到底进行了哪些操作呢？ HDFS 写流程 如上图所示，假如我们有一个四个节点的集群，并且我们将数据备份个数设置成3个。当我们写入一个文件到HDFS集群的时候： 1. 首先，HDFS Cli 阅读全文
摘要：
自动部署？Ambari Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态 阅读全文
摘要：
本文旨在快速搭建一套Hadoop及HBase的分布式环境，自己测试玩玩的话ok，如果真的要搭一套集群建议还是参考下ambari吧，目前正在摸索该项目中。下面先来看看怎么快速搭建一套分布式环境。 准备 1. 三台虚拟机：1台作为NameNode和HMaster 两台作为DataNode和HRegion 阅读全文