摘要：（安装spark集群的前提是服务器已经配置了jdk并且安装hadoop集群（主要是hdfs）并正常启动，hadoop集群安装可参考《hadoop集群搭建（hdfs）》） 1、配置scala环境 详细配置过程可参考《linux安装scala环境》，此处就不在详细描述 2、下载spark安装包 因为我之 阅读全文

摘要：（安装scala的前提是已经安装好了jdk） 1、下载scala的安装包 wget https://scala-lang.org/files/archive/scala-2.11.0-M2.tgz 2、解压缩scala压缩包 tar zxvf scala-2.11.0-M2.tgz 3、修改环境变量 阅读全文

摘要：在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作 hdfs基本操作 1、查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件 2、创建文 阅读全文

摘要：（搭建hadoop集群的前提是服务器已成功安装jdk以及服务器之间已设置免密码登录，服务器之间的免密码登录可参考《linux服务器间ssh免密码登录》） 1、下载hadoop安装包 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3 阅读全文

摘要：假设有三台服务器的ip分别是10.9.1.101、10.9.1.102、10.9.1.103 修改hosts文件 分别修改三台服务器的hosts的文件（vi /etc/hosts）， 在hosts文件中增加 10.9.1.101 node101 10.9.1.102 node102 10.9.1.1 阅读全文