摘要：
Hive——基本DML语句 DML:Data Manipulation Language(数据操作语言，与关系型数据库相似) 官方手册：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 一、加载数据到hive表中 阅读全文
摘要：
Hive——基本DDL语句 DDL:Data Definition Language(数据定义语言，与关系型数据库相似) 官方手册：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL HiveQL DDL包括以下内容 阅读全文
摘要：
Hive——环境搭建 相关hadoop和mysql环境已经搭建好。我博客中也有相关搭建的博客。 一、下载Hive并解压到指定目录（本次使用版本hive-1.1.0-cdh5.7.0，下载地址：http://archive.cloudera.com/cdh5/cdh/5/） 二、Hive配置：参考官网 阅读全文
摘要：
Hive——简介 Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能.可以将 SQL 语句转换为 MapReduce 任务进行运行， 阅读全文
摘要：
hadoop 完全分布式环境搭建 1、虚拟机角色分配： 每台机器配置好hostname,hosts：/etc/hostname 中配置好hostname /etc/hosts 中配置好hosts： 2、sskey免登录设置 1）ssh-keygen -t rsa （会在.ssh目录生成公钥和私钥,每 阅读全文
摘要：
一、Combiner 在MapReduce编程模型中，在Mapper和Reducer之间有一个非常重要的组件，主要用于解决MR性能瓶颈问题 combiner其实属于优化方案，由于带宽限制，应该尽量map和reduce之间的数据传输数量。它在Map端把同一个key的键值对合并在一起并计算，计算规则和r 阅读全文
摘要：
一、代码实现： 二、运行结果： 调用： 输入的文件内容： 输出的结果： 阅读全文
摘要：
一、MapReduce1.x架构 1）jobTracker：JT 作业的管理者 将作业分解成一堆任务：Task(MapTask和ReduceTask) 将任务分派给TaskTracker(TT)运行 作业监控、容错处理（task作业挂了，重启task的机制） 在一定的时间间隔内，JT没有收到TT的心 阅读全文
摘要：
执行步骤：1）准备Map处理的输入数据 2）Mapper处理 3）Shuffle 4）Reduce处理 5）结果输出 三、mapreduce核心概念： 1）split:交由MapReduce作业来处理的数据块，是MapReduce最小的计算单元。 HDFS：blocksize 是HDFS中最小的存储 阅读全文