摘要:
Hive——基本DML语句 DML:Data Manipulation Language(数据操作语言,与关系型数据库相似) 官方手册:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 一、加载数据到hive表中 阅读全文
摘要:
Hive——基本DDL语句 DDL:Data Definition Language(数据定义语言,与关系型数据库相似) 官方手册:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL HiveQL DDL包括以下内容 阅读全文
摘要:
Hive——环境搭建 相关hadoop和mysql环境已经搭建好。我博客中也有相关搭建的博客。 一、下载Hive并解压到指定目录(本次使用版本hive-1.1.0-cdh5.7.0,下载地址:http://archive.cloudera.com/cdh5/cdh/5/) 二、Hive配置:参考官网 阅读全文
摘要:
Hive——简介 Hive 是基于 Hadoop 构建的一套数据仓库分析系统,它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据, 可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能.可以将 SQL 语句转换为 MapReduce 任务进行运行, 阅读全文
摘要:
hadoop 完全分布式环境搭建 1、虚拟机角色分配: 每台机器配置好hostname,hosts:/etc/hostname 中配置好hostname /etc/hosts 中配置好hosts: 2、sskey免登录设置 1)ssh-keygen -t rsa (会在.ssh目录生成公钥和私钥,每 阅读全文
摘要:
一、Combiner 在MapReduce编程模型中,在Mapper和Reducer之间有一个非常重要的组件,主要用于解决MR性能瓶颈问题 combiner其实属于优化方案,由于带宽限制,应该尽量map和reduce之间的数据传输数量。它在Map端把同一个key的键值对合并在一起并计算,计算规则和r 阅读全文
摘要:
一、代码实现: 二、运行结果: 调用: 输入的文件内容: 输出的结果: 阅读全文
摘要:
一、MapReduce1.x架构 1)jobTracker:JT 作业的管理者 将作业分解成一堆任务:Task(MapTask和ReduceTask) 将任务分派给TaskTracker(TT)运行 作业监控、容错处理(task作业挂了,重启task的机制) 在一定的时间间隔内,JT没有收到TT的心 阅读全文
摘要:
执行步骤:1)准备Map处理的输入数据 2)Mapper处理 3)Shuffle 4)Reduce处理 5)结果输出 三、mapreduce核心概念: 1)split:交由MapReduce作业来处理的数据块,是MapReduce最小的计算单元。 HDFS:blocksize 是HDFS中最小的存储 阅读全文