2018年12月22日
PySpark 入门
摘要： 1.wordCount 2. Sql.py Sql介绍了DataFrame的使用方法 3. Sort sort实现了排序功能，主要通过sortByKey， 也可以使用SortWith， 注意如果数据量特别大，不要使用collect， 而是应该将rdd repatition为1个分区然后保存在hdfs 阅读全文
posted @ 2018-12-22 16:18 energy1989 阅读(257) 评论(0) 推荐(0) 编辑