代码改变世界

spark入门系列教程二——简单入门实例

2018-11-30 20:08 by RingWu, 7812 阅读, 0 推荐, 收藏, 编辑
摘要:可以用java、python、scala、R来编写spark程序,spark是用scala编写的,所以更推荐使用scala,而且scala开发效率较高,所以示例使用scala开发一个简单的spark程序。 1.开发环境准备 1.1安装scala 本示例的开发环境是win10+jdk1.8+scala 阅读全文

Spark入门系列教程一 —— Spark2.3.1 集群安装

2018-11-27 00:43 by RingWu, 1021 阅读, 0 推荐, 收藏, 编辑
摘要:有朋友希望我能教他们学大数据,其实我自己也很一般,所以计划写几篇博文,希望能够帮助到初学者 1.机器准备 1.1准备三台以上Linux服务器,安装好jdk,安装过程自行百度。 1.2 安装open-ssh并配置免密登录,安装过程自行百度。 1.3 执行 vi /etc/hosts 指令,修改/etc 阅读全文