2018 年 2月 18 日随笔档案 - 青衫仗剑

2018年2月18日

Spark之使用SparkSql操作mysql和DataFrame的Scala实现

摘要：通过读取文件转换成DataFrame数据写入到mysql中从mysql中读取数据到DataFrame中阅读全文

posted @ 2018-02-18 22:07 青衫仗剑阅读(1755) 评论(0) 推荐(0) 编辑

摘要：整合： 1，需要将hive-site.xml文件拷贝到Spark的conf目录下，这样就可以通过这个配置文件找到Hive的元数据以及数据存放位置。 2，如果Hive的元数据存放在Mysql中，我们还需要准备好Mysql相关驱动，比如：mysql-connector-java-5.1.35.jar。阅读全文

posted @ 2018-02-18 21:35 青衫仗剑阅读(630) 评论(0) 推荐(0) 编辑

Spark之使用SparkSql操作Hive的Scala程序实现

摘要：依赖 scala代码 hive-site.xml 还需要把hdfs上的user/hive/warehouse目录 chmod 777，不然程序访问不了会报错阅读全文

posted @ 2018-02-18 21:21 青衫仗剑阅读(3877) 评论(0) 推荐(0) 编辑

Spark之 RDD转换成DataFrame的Scala实现

摘要：依赖 RDD转化成DataFrame:通过StructType指定schema RDD转化成DataFrame:利用反射机制推断schema 阅读全文

posted @ 2018-02-18 20:58 青衫仗剑阅读(1835) 评论(0) 推荐(0) 编辑

剑来

公告