Loading

随笔分类 -  大数据

常用Spark-SQL数据处理总结
摘要：### 常用Spark-SQL数据处理总结 导语： 本文是在实习工作当中就遇到的数据处理当中Spark-SQL相关的操作做一个总结。主要包含ArrayType, JSON等复杂数据类型的处理。以及UDF的各种实现, 希望通过更加简单的处理方式提高程序的可读性, 代码简洁性和优雅性。 本文是使用Sc 阅读全文
posted @ 2021-09-05 15:32 反身而诚、 阅读(219) 评论(0) 推荐(0) 编辑
VMware虚拟机搭建Spark集群
摘要：一、搭建方法 在虚拟机上搭建集群的方法通常有两种 1.类似于真实的机器上部署，首先要进行密钥授权使各台机器之间能够免密码相互访问，然后在主节点上将各个软件配置好，分发各个从节点。 2.采用虚拟机克隆的方式，先进行软件的配置，然后将master的公钥授权自己，这样克隆出来的多个虚拟机之间都能够免密码登 阅读全文
posted @ 2021-01-01 15:47 反身而诚、 阅读(2134) 评论(6) 推荐(0) 编辑