摘要: 一、安装spark spark SQL是spark的一个功能模块,所以我们事先要安装配置spark,参考: https://www.cnblogs.com/lay2017/p/10006935.html 二、数据准备 演示操作将从一个类似json文件里面读取数据作为数据源,并初始化为datafram 阅读全文
posted @ 2018-11-23 16:43 __lay 阅读(1546) 评论(0) 推荐(0) 编辑
摘要: 如果要全面的使用spark,你可能要安装如JDK,scala,hadoop等好些东西。可有时候我们只是为了简单地安装和测试来感受一下spark的使用,并不需要那么全面。对于这样的需要,我们其实只要安装好JDK,然后下载配置spark,两步即可。 本文选择: 1、centos 2、JDK1.8 3、s 阅读全文
posted @ 2018-11-23 13:05 __lay 阅读(873) 评论(0) 推荐(0) 编辑