摘要：
Hive 1.概念 Hive是基于Hadoop的数据仓库,SQL ON HADOOP,将结构化的文件映射成一张表，并提供类sql查询的功能。 数据库和数据仓库 数据库:mysql,oracle,sqlsever,db2,sqlite,mdb 数据仓库:Hive,是MR的客户端，不必每台机器都安装部署 阅读全文
摘要：
一、概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经 阅读全文
摘要：
MapReduce 一 MapReduce概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 MapRe 阅读全文
摘要：
DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3）心跳是每 阅读全文
摘要：
NameNode&Secondary NameNode工作机制 1）第一阶段：namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求 （3）namenode记录操 阅读全文
摘要：
HDFS客户端 通过IO流操作HDFS HDFS文件上传 @Test public void putFileToHDFS() throws Exception{ // 1 创建配置信息对象 Configuration configuration = new Configuration(); File 阅读全文
摘要：
概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 组成 1）HDFS集群包括，NameN 阅读全文
摘要：
Hadoop运行模式 （1）本地模式(默认模式): 不需要启用单独进程，直接可以运行,测试和开发时使用。 即在一台机器上进行操作，仅为单机版。 本地运行Hadoop官方MapReduce案例 操作命令: 执行案例: hadoop jar share/hadoop/mapreduce/hadoop-m 阅读全文
摘要：
Haddop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题。 Hadoop三大发行版本 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较 阅读全文
摘要：
将下好的jdk的rpm文件上传到Linux上(通过rz命令(yum install lrzsz -y)或ftp工具) rpm -ivh xx.rpm安装jdk，这个时候jdk会被安装到 /usr/java 这个目录下 然后我们需要去配置环境变量 vi /etc/profile 在文件中加入如下配置信 阅读全文