spark StructType的应用,用在处理mongoDB keyvalue
摘要:近期在处理mongoDB 数据的时候,遇到了非常奇怪的格式,账号密码的日志都追加在一条记录里面,要取一个密码的时长和所有密码的平均时长就非常繁琐。 用了各种迭代计算,非常困难,而且printschema出来结构也是不规范的。 和同事一起研究后用了StructType 效率非常高。 代码如下:
阅读全文
posted @ 2018-09-25 15:46