随笔分类 -  Hadoop

hive 常用操作
摘要:参考:https://www.cnblogs.com/jonban/p/10779938.html Hive 启动:hive 退出:hive>quit; show databases; use analysis; show tables; desc tab_name; --查看表的结构及表的路径 s 阅读全文

posted @ 2019-10-11 11:17 我和你并没有不同 阅读(257) 评论(0) 推荐(0) 编辑

hadoop 学习笔记2
摘要:Hive vs Hadoop Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。 想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop 阅读全文

posted @ 2018-06-28 22:15 我和你并没有不同 阅读(102) 评论(0) 推荐(0) 编辑

hadoop 学习笔记
摘要:参考资料:《Hadoop 权威指南》 1 map处理完后,hadoop框架会将结果安装键进行排序,然后将排好的结果传给reduce 2 需要低延迟的应用不适合HDFS,对于低延迟应用HBase更适合 3 HDFS中的文件只有一个写入者,而且写操作总是在文件的末尾,不支持多个写入者或在文件任意位置修改 阅读全文

posted @ 2018-06-09 11:55 我和你并没有不同 阅读(132) 评论(0) 推荐(0) 编辑

HBase 笔记
摘要:参考资料:HBase权威指南 一行由若干列组成,若干列又构成一个列族一个列族的所有列存储在同一个底层的存储文件里,这个文件叫HFile列族的数量有限制;一个列族里列的数量没限制谓词删除:例如允许用户只保存过去一周HBase中扩展和负载均衡的基本单位是region,一张表初始只有一个region,re 阅读全文

posted @ 2018-05-31 17:15 我和你并没有不同 阅读(198) 评论(0) 推荐(0) 编辑