2018年9月15日
Spark on yarn模式
摘要： 1.配置 安装Hadoop：需要安装HDFS模块和YARN模块，spark运行时要把jar包放到HDFS上。 安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目录，Spark程序将作为yarn的客户端用户提交任务。 阅读全文
posted @ 2018-09-15 22:56 再见、梦想 阅读(11246) 评论(0) 推荐(2) 编辑
Hive的web端配置——HWI
摘要： 1.我们安装Hive的时候的版本为1.2.2，我们要下载1.2.2版本的web端的配置包apache-hive-1.2.2-src.tar.gz，下载地址：http://mirrors.shu.edu.cn/apache/hive/hive-1.2.2/ 2.解压，打包 3.把war包放到lib目录 阅读全文
posted @ 2018-09-15 10:00 再见、梦想 阅读(336) 评论(0) 推荐(0) 编辑
Spark环境搭建
摘要： val conf = new SparkConf().setAppName("UserCF").setMaster("local[2]") val spark=SparkSession.builder().enableHiveSupport().config(conf).getOrCreate() val df = spark.sql("select user_id, item_id, rati... 阅读全文
posted @ 2018-09-15 08:25 再见、梦想 阅读(109) 评论(0) 推荐(0) 编辑