2017年3月4日
MapReduce详解
摘要： MapReduce简介 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。 MapReduce极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 WordCount单词计数 阅读全文
posted @ 2017-03-04 15:24 星空str 阅读(1316) 评论(0) 推荐(0) 编辑
Flume简介及安装
摘要： Hadoop业务的大致开发流程以及Flume在业务中的地位： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。 Flume概念 flume是分布式的日志收集系统，它将各个服务器中的数据收集起来 阅读全文
posted @ 2017-03-04 15:23 星空str 阅读(124) 评论(0) 推荐(0) 编辑
HIVE安装配置
摘要： Hive简介 Hive 基本介绍 Hive 实现机制 Hive 数据模型 Hive 如何转换成MapReduce Hive 与其他数据库的区别 以上详见：https://chu888chu888.gitbooks.io/hadoopstudy/content/Content/8/chapter8.h 阅读全文
posted @ 2017-03-04 15:23 星空str 阅读(1785) 评论(0) 推荐(0) 编辑
Sqoop简介及安装
摘要： Hadoop业务的大致开发流程以及Sqoop在业务中的地位： Sqoop概念 Sqoop可以理解为【SQL–to–Hadoop】，正如名字所示，Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具。它可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoo 阅读全文
posted @ 2017-03-04 15:22 星空str 阅读(1019) 评论(0) 推荐(0) 编辑
hadoop2.7.2单机与伪分布式安装
摘要： 环境相关 系统：CentOS 6.8 64位 jdk：1.7.0_79 hadoop：hadoop 2.7.2 安装java环境 详见： "linux中搭建java开发环境" 创建hadoop用户 <! more 可为hadoop用户增加管理员权限，避免一些对新手来说比较棘手的权限问题。 保存退出后 阅读全文
posted @ 2017-03-04 15:21 星空str 阅读(4967) 评论(0) 推荐(0) 编辑