摘要:
现在的需求是在一台Flume采集机器上,往Hadoop集群上写HDFS,该机器没有安装Hadoop。 这里的Flume版本是1.6.0,Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去,把 阅读全文
摘要:
一、安装jdk jdk版本最好是1.7以上,设置好环境变量,安装过程,略。 二、安装Maven 我选择的Maven版本是3.3.3,安装过程,略。 编辑Maven安装目录conf/settings.xml文件, 三、安装Idea 安装过程,略。 四、创建Spark项目 1、新建一个Spark项目, 阅读全文