欢迎来到贱贱的博客

扩大
缩小

2018年10月23日

spark学习之IDEA配置spark并wordcount提交集群

摘要: 这篇文章包括以下内容 (1)IDEA中scala的安装 (2)hdfs简单的使用,没有写它的部署 (3) 使用scala编写简单的wordcount,输入文件和输出文件使用参数传递 (4)IDEA打包和提交方法 一 IDEA中scala的安装 (1) 下载IEDA 装jdk (2) 启动应用程序 选 阅读全文

posted @ 2018-10-23 09:54 L的存在 阅读(1809) 评论(0) 推荐(0) 编辑

spark学习之简介

摘要: 1. Spark概述 1.1. 什么是Spark(官网:http://spark.apache.org) Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目 阅读全文

posted @ 2018-10-23 09:17 L的存在 阅读(216) 评论(0) 推荐(0) 编辑

导航