摘要:
导入以下代码: //导入隐饰操作,否则RDD无法调用toDF方法 import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.master("local[4]").getOrCreate import spark 阅读全文
摘要:
log4j.rootCategory=ERROR, console\ log4j.appender.console=org.apache.log4j.ConsoleAppender \ log4j.appender.console.target=System.err \ log4j.appender 阅读全文
摘要:
1、安装JDK 这里不再赘述。 2、安装Spark 到官网https://spark.apache.org/downloads.html选择合适的版本下载,注意Spark与Hadoop版本选择要相对应,建议下载预编译(Pre-built)好的版本,省得麻烦 解压要需要的目录下,并配置环境变量SPAR 阅读全文