摘要：
通过rz实现Xftp的功能 yum install lrzsz 安装完毕之后就可以直接拖文件进Linux了 如何查看该进程是什么进程 ps -aux | grep 进程号 Hive的架构图 Hive的8道小练习 #写在hive中的SQL最好都要带上limit，因为是大数据嘛 #如果有分组，那么sel 阅读全文
摘要：
我们的版本约定 JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.1 安装Hive #前提是：mysql和hadoop必 阅读全文
摘要：
操作Hive的方式、Hive的元数据和数据的存储位置、Hive中元数据的组成 Hive的metastore(元数据) 阅读全文
摘要：
大数据体系概述 #processon.com -- 免费在线流程图思维导图 Hive简述 Hive与传统数据库比较 Hive的存储格式 TextFile RCFile、ORCFile Parquet SEQUENCEFILE、AVRO Hive的四大常用存储格式存储效率及执行速度对比 阅读全文
摘要：
Combiner编程 reduce join map join mapreduce优化总结 通过自定义分区类避免数据倾斜 #每一个reduce任务生成一个文件 package com.shujia.MapReduce; import org.apache.hadoop.conf.Configurat 阅读全文
摘要：
MapReduce在Yarn上执行流程 Yarn核心组件功能 模拟ApplicationMaster发送Task 在MR中，MapTask、ReduceTask都是线程对象，因为需要在网络中传输，所以都实现了序列化接口 package com.shujia.MapReduce; import jav 阅读全文