2022年2月17日
通过rz实现Xftp的功能、如何查看该进程是什么进程、Hive的架构图、Hive的8道小练习、在hive中操作hdfs的命令格式、Hive中的数据在hdfs上的默认存储位置
摘要： 通过rz实现Xftp的功能 yum install lrzsz 安装完毕之后就可以直接拖文件进Linux了 如何查看该进程是什么进程 ps -aux | grep 进程号 Hive的架构图 Hive的8道小练习 #写在hive中的SQL最好都要带上limit，因为是大数据嘛 #如果有分组，那么sel 阅读全文
posted @ 2022-02-17 23:44 赤兔胭脂小吕布 阅读(50) 评论(0) 推荐(0) 编辑
Hive搭建
摘要： 我们的版本约定 JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.1 安装Hive #前提是：mysql和hadoop必 阅读全文
posted @ 2022-02-17 23:11 赤兔胭脂小吕布 阅读(50) 评论(0) 推荐(0) 编辑
操作Hive的方式、Hive的元数据和数据的存储位置、Hive中元数据的组成、
摘要： 操作Hive的方式、Hive的元数据和数据的存储位置、Hive中元数据的组成 Hive的metastore(元数据) 阅读全文
posted @ 2022-02-17 21:47 赤兔胭脂小吕布 阅读(91) 评论(0) 推荐(0) 编辑
大数据体系概述、Hive简述、Hive与传统数据库比较、Hive的存储格式、Hive的四大常用存储格式存储效率及执行速度对比
摘要： 大数据体系概述 #processon.com -- 免费在线流程图思维导图 Hive简述 Hive与传统数据库比较 Hive的存储格式 TextFile RCFile、ORCFile Parquet SEQUENCEFILE、AVRO Hive的四大常用存储格式存储效率及执行速度对比 阅读全文
posted @ 2022-02-17 21:38 赤兔胭脂小吕布 阅读(48) 评论(0) 推荐(0) 编辑
Combiner编程、reduce join、map join、mapreduce优化总结、通过自定义分区类避免数据倾斜、MapReduce自定义排序
摘要： Combiner编程 reduce join map join mapreduce优化总结 通过自定义分区类避免数据倾斜 #每一个reduce任务生成一个文件 package com.shujia.MapReduce; import org.apache.hadoop.conf.Configurat 阅读全文
posted @ 2022-02-17 16:34 赤兔胭脂小吕布 阅读(18) 评论(0) 推荐(0) 编辑
MapReduce在Yarn上执行流程、Yarn核心组件功能、模拟ApplicationMaster发送Task、Map端的join
摘要： MapReduce在Yarn上执行流程 Yarn核心组件功能 模拟ApplicationMaster发送Task 在MR中，MapTask、ReduceTask都是线程对象，因为需要在网络中传输，所以都实现了序列化接口 package com.shujia.MapReduce; import jav 阅读全文
posted @ 2022-02-17 15:25 赤兔胭脂小吕布 阅读(44) 评论(0) 推荐(0) 编辑