09 2018 档案

spark StructType的应用,用在处理mongoDB keyvalue
摘要:近期在处理mongoDB 数据的时候,遇到了非常奇怪的格式,账号密码的日志都追加在一条记录里面,要取一个密码的时长和所有密码的平均时长就非常繁琐。 用了各种迭代计算,非常困难,而且printschema出来结构也是不规范的。 和同事一起研究后用了StructType 效率非常高。 代码如下: 阅读全文

posted @ 2018-09-25 15:46 残阳飞雪 阅读(3325) 评论(0) 推荐(0) 编辑

Spark--sql--所有函数举例(spark-2.x版本)
摘要:参考https://www.2cto.com/net/201803/727248.html 阅读全文

posted @ 2018-09-11 22:51 残阳飞雪 阅读(3002) 评论(0) 推荐(0) 编辑

Idea2018旗舰版破解方法
摘要:完整请参考 https://www.jianshu.com/p/3c87487e7121 1.在hosts文件里添加一行: 2.在Activation code输入 上面的尝试了可以用。 下面的方法没尝试 阅读全文

posted @ 2018-09-01 00:33 残阳飞雪 阅读(701) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示