摘要：
方式1：全量下载源码包 方式二：下载单个源码包 随便找个源码可以看到文件上有download (标识下载源码包) choose sources表示选择那个版本的源码包 阅读全文
posted @ 2020-12-18 14:19
一叶知秋。
阅读(1792)
评论(0)
推荐(0)
摘要：
1.可以先参考第一篇文章 https://www.cnblogs.com/luxj/p/14144972.html 2.分区的好处(例如按年月日生成表) 3.可以参考第一篇文章(先建表) 区别在于 PARTITIONED BY (year INT, month INT, day INT) creat 阅读全文
posted @ 2020-12-16 22:31
一叶知秋。
阅读(494)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/u012995897/article/details/76623739 打开ParquetWriter或者ParquetReader发现大部分构造方法都是过时的（@Deprecated），经过仔细的百度，和读源码，才发现原来创建ParquetWriter对 阅读全文
posted @ 2020-12-16 19:54
一叶知秋。
阅读(2657)
评论(0)
推荐(0)
摘要：
https://my.oschina.net/skyim/blog/479159 1. Parquet 的优点我就不说拉（列存储和良好的压缩）,列存储可以参考如下链接2.主要是项目中用到的存储3.第一步,首先在hive中创建一张表,操作表语句如下 create external table parq 阅读全文
posted @ 2020-12-16 17:11
一叶知秋。
阅读(804)
评论(0)
推荐(0)
摘要：
https://www.jb51.net/article/156489.htm 修改mysql 命令：alter user 'root'@localhost IDENTIFIED WITH mysql_native_password BY '密码'; 阅读全文
posted @ 2020-12-15 22:04
一叶知秋。
阅读(228)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/sparkexpert/article/details/52871000 随着新版本的spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。 然而，在其中一个操作时却卡住了。主要是datafra 阅读全文
posted @ 2020-12-10 15:50
一叶知秋。
阅读(396)
评论(0)
推荐(0)
摘要：
在spark1.X以前，Logging使用的是org.apache.spark.Logging这个类，但是在spark2.X以后，这个类被改成了import org.apache.spark.internal.Logging。下图的spark版本是2.x，可以看出对于org.apache.spark 阅读全文
posted @ 2020-12-10 15:16
一叶知秋。
阅读(1084)
评论(0)
推荐(0)
摘要：
https://zhuanlan.zhihu.com/p/92654574 阅读全文
posted @ 2020-12-06 18:20
一叶知秋。
阅读(122)
评论(0)
推荐(0)
摘要：
2．数据准备，表：movie_info 表6-7 数据准备 movie category 《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,动作,心理,剧情 《战狼2》 战争,动作,灾难 3．需求 将电影分类中的数组数据展开。结果如下： 《疑犯追踪》 悬疑 《疑犯追踪》 动作 阅读全文
posted @ 2020-12-06 17:34
一叶知秋。
阅读(179)
评论(0)
推荐(0)
摘要：
数据准备 ,表：person_info 表6-6 数据准备 name constellation blood_type 孙悟空 白羊座 A 大海 射手座 A 宋宋 白羊座 B 猪八戒 白羊座 A 凤姐 射手座 A 需求 把星座和血型一样的人归类到一起。结果如下： 射手座,A 大海|凤姐 白羊座,A 阅读全文
posted @ 2020-12-06 17:10
一叶知秋。
阅读(136)
评论(0)
推荐(0)
浙公网安备 33010602011771号