随笔分类 -  spark

摘要:代码demo package com.spark.wordcount import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf objec 阅读全文
posted @ 2024-02-20 16:29 whiteY 阅读(89) 评论(0) 推荐(0) 编辑
摘要:一.安装spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包 # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 阅读全文
posted @ 2023-09-27 17:20 whiteY 阅读(19) 评论(0) 推荐(0) 编辑
摘要:###1.spark-sql启动报错 java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 原因:在启动时 找不到tez的jar包 解决方法:将tez目录下的tez-api-0.9.1.jar 复制一份到 s 阅读全文
posted @ 2023-05-11 15:04 whiteY 阅读(154) 评论(0) 推荐(0) 编辑
摘要:使用spark-sql操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到spark conf目录下 进入到spark bin目录下使用命令开启一个spark-sql: ./spark-sql --master local[*] --jars /usr/hdp/cur 阅读全文
posted @ 2023-05-11 15:01 whiteY 阅读(114) 评论(0) 推荐(0) 编辑
摘要:使用spark-shell操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到sparkconf目录下 进入到spark bin目录下使用命令开启一个spark-shell: ./spark-shell --master local[2] --jars /home/i 阅读全文
posted @ 2023-05-11 11:44 whiteY 阅读(83) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示