2022年2月15日
解决Spark中无法调用toDF方法
摘要： 导入以下代码： //导入隐饰操作，否则RDD无法调用toDF方法 import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.master("local[4]").getOrCreate import spark 阅读全文
posted @ 2022-02-15 15:38 干了这瓶老干妈 阅读(744) 评论(0) 推荐(0) 编辑
Spark中日志文件log4j设置
摘要： log4j.rootCategory=ERROR, console\ log4j.appender.console=org.apache.log4j.ConsoleAppender \ log4j.appender.console.target=System.err \ log4j.appender 阅读全文
posted @ 2022-02-15 14:32 干了这瓶老干妈 阅读(285) 评论(0) 推荐(0) 编辑
在Windows配置Spark环境
摘要： 1、安装JDK 这里不再赘述。 2、安装Spark 到官网https://spark.apache.org/downloads.html选择合适的版本下载，注意Spark与Hadoop版本选择要相对应，建议下载预编译（Pre-built）好的版本，省得麻烦 解压要需要的目录下，并配置环境变量SPAR 阅读全文
posted @ 2022-02-15 11:38 干了这瓶老干妈 阅读(334) 评论(0) 推荐(0) 编辑
Live2D