百里登风

导航

2017年10月17日

hive

摘要: 前面讲到的海量数据存储分析: 为什么需要hive: 思考一下用什么来封装! 传统的数据仓库是通过sql语言存储在传统的关系型数据库里面的,hive的数据仓库是通过hql语言存储在HDFS上的,也就是说hive通过hql语言转换成mapreduce来对hdfs数据进行分析。 hive就是通过hql语言 阅读全文

posted @ 2017-10-17 23:47 百里登峰 阅读(625) 评论(0) 推荐(0) 编辑

hadoop分布式集群的搭建

摘要: 电脑如果是8G内存或者以下建议搭建3节点集群,如果是搭建5节点集群就要增加内存条了。当然实际开发中不会用虚拟机做,一些小公司刚刚起步的时候会采用云服务,因为开始数据量不大。 但随着数据量的增大才会考虑搭建自己的集群,中大型公司肯定会搭建自己的专属集群,毕竟云服务用起来方便,但是还是有很多的局限性。 阅读全文

posted @ 2017-10-17 21:08 百里登峰 阅读(424) 评论(0) 推荐(0) 编辑