摘要：
一、安装jdk 1、下载解压 2、配置环境变量 配置成功： 二、ssh免密码登录 https://www.cnblogs.com/suwy/p/9326087.html 三、hadoop伪分布式配置 1、下载 2、解压 3、修改配置文件 修改为jdk安装位置 4、配置环境变量 四、启动hadoop 阅读全文
摘要：
Ubuntu 默认已安装了 SSH client，还需要安装 SSH server： 执行： 利用 ssh-keygen 生成密钥，并将密钥加入到授权中： 在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录再输入ssh localhost命令，无需输入密码就可以 阅读全文
摘要：
Scala开发，sbt打包，spark运行 1、创建文件目录结构： 2、创建Scala程序 SimpleAPP.Scala： 3、使用sbt打包Scala程序 该程序依赖 Spark API，因此需要通过 sbt 进行编译打包。 在./sparkapp 中新建文件 simple.sbt，添加如下内容 阅读全文
摘要：
使用 Scala 编写的程序需要使用 sbt 进行编译打包，官网sbt下载解压 在解压路径下创建脚本： 更改脚本sbt的权限： 配置环境变量： 测试是否安装成功： 阅读全文
摘要：
一、下载解压 二、配置 （假设已经配置了Java、Hadoop） 1、环境变量 2、spark配置 进入spark安装目录，复制文件 编辑spark-env.sh文件，在文件中添加如下信息（括号中路径为Hadoop的路径），有了下面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系 阅读全文