随笔分类 - spark
摘要:代码demo package com.spark.wordcount import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf objec
阅读全文
摘要:一.安装spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包 # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2
阅读全文
摘要:###1.spark-sql启动报错 java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 原因:在启动时 找不到tez的jar包 解决方法:将tez目录下的tez-api-0.9.1.jar 复制一份到 s
阅读全文
摘要:使用spark-sql操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到spark conf目录下 进入到spark bin目录下使用命令开启一个spark-sql: ./spark-sql --master local[*] --jars /usr/hdp/cur
阅读全文
摘要:使用spark-shell操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到sparkconf目录下 进入到spark bin目录下使用命令开启一个spark-shell: ./spark-shell --master local[2] --jars /home/i
阅读全文