HBase 和 Hive 的差别是什么，各自适用在什么场景中？Spark SQL能做什么?
摘要：HBase 和 Hive 的差别是什么，各自适用在什么场景中？ 结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。 一、区别： Hbase： Hadoop database 的简称，也就是基于Hadoop数据
阅读全文
spark安装配置
摘要：准备：1. 规划3个集群节点: hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2, 且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html
阅读全文
spark安装配置
摘要：准备：1. 规划3个集群节点: hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2, 且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html
阅读全文
Apache Spark 3.0.0重磅发布 —— 重要特性全面解析
摘要：2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0 正式发布！ Apache Spark 3.0.0版本包含3400多个补丁，是开源社区做出巨大贡献的结晶，在Python和SQL功能方面带来了重大进展并且将重点聚焦在了开发和生产的易用性上。同时，今年
阅读全文
