摘要: 原文地址:http://blog.csdn.net/qq_32252917/article/details/78529916 下面是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数 阅读全文
posted @ 2017-12-03 16:17 凯心宝牙 阅读(229) 评论(0) 推荐(0) 编辑
摘要: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableCreate/Drop/TruncateTable 一、创建表方式1 创建了一个emp表,这个表存属于hi 阅读全文
posted @ 2017-12-03 00:40 凯心宝牙 阅读(263) 评论(0) 推荐(0) 编辑
摘要: 前言 在国内编译Spark项目需要从Maven源下载很多依赖包,官方源在国内大环境下的下载速度大家都懂得,那个煎熬啊,简直是浪费生命。 如果你的下载速度很快,你现在就可以无视这篇文章了。 阿里云给国内开发者提供了一个非常的良心的服务:提供了一个国内Maven镜像,可以让我们拜托这种煎熬。 地址信息 阅读全文
posted @ 2017-12-03 00:24 凯心宝牙 阅读(559) 评论(0) 推荐(0) 编辑
摘要: Spark SQL官方释义 一、使用Spark SQL访问Hive需要将$HIVE_HOME/conf下的hive-site.xml拷贝到$SPARK_HOME/conf下,如果集群没有安装hive那么就在$SPARK_HOME/conf 下创建一个hive-site.xml,再配置一下可以访问me 阅读全文
posted @ 2017-12-03 00:14 凯心宝牙 阅读(4527) 评论(0) 推荐(0) 编辑
摘要: 一、工具IDEA+MAVEN 二、Pom文件添加依赖 1、更改成自己的scala版本 1 2 3 2、添加驱动依赖 1 2 3 4 5 三、代码书写 1、DBUtils 2、Operations 3、MySQLOperations 阅读全文
posted @ 2017-12-03 00:07 凯心宝牙 阅读(6292) 评论(0) 推荐(0) 编辑