随笔分类 -  Spark

使用idea 编写spark程序
摘要：一、 创建工程或者模块 如果已经存在工程，那么可以在当前工程下创建模块。 如果不存在工程，可以直接创建一个工程。 1.1 创建maven模块 由于已经存在一个相同的模块，我这里标红了。 1.2 修改pom文件 <?xml version="1.0" encoding="UTF-8"?> <proje 阅读全文
posted @ 2020-12-03 13:13 北漂-boy 阅读(1115) 评论(0) 推荐(0) 编辑
spark 访问 hive，不能获取到数据信息
摘要：前言 HDP version： 3.x HIVE version： 3.x 问题描述 使用hdp版本的集群服务，当安装好spark以后，执行spark.sql ,不能查询到hive的数据库，只查询到default数据库，说明spark没有连接到hive。 问题现象 分析： 1、通过上图可以看到spa 阅读全文
posted @ 2020-11-12 11:51 北漂-boy 阅读(2826) 评论(0) 推荐(1) 编辑
spark on yarn 错误
摘要：使用spark on yarn跑任务的时候，出现了异常错误，错误如下： hduser@xxx:/data1/hadoop/spark/bin$ ./spark-shell --master yarn --deploy-mode client 2020-04-13 10:04:25 WARN Nati 阅读全文
posted @ 2020-04-13 11:43 北漂-boy 阅读(1143) 评论(0) 推荐(0) 编辑
spark-defaults.conf配置文件参考
该文被密码保护。
posted @ 2019-07-10 16:48 北漂-boy 阅读(0) 评论(0) 推荐(0) 编辑
spark-env.sh 参考配置(standalone模式)
该文被密码保护。
posted @ 2019-07-10 16:46 北漂-boy 阅读(0) 评论(0) 推荐(0) 编辑
spark的一些基本概念和模型
摘要：Application application和Hadoop MapReduce类似，都是指用户编写的spark应用程序，其中包含了一个driver功能的代码和分布在集群中多个节点运行的executor代码。 Driver 使用driver这一概念的分布式框架很多，比如hive。spark中的dri 阅读全文
posted @ 2019-06-26 14:29 北漂-boy 阅读(801) 评论(0) 推荐(0) 编辑
spark错误记录总结
摘要：1、执行spark-submit时出错 执行任务如下： # ./spark-submit --class org.apache.spark.examples.SparkPi /hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100 报 阅读全文
posted @ 2019-02-22 10:22 北漂-boy 阅读(5344) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示