08 2019 档案

json_tuple()函数的应用
摘要：直接举栗子说明用法吧： 下面是来自APP埋点脚本获取的一段JSON字符串：通过平台sqoop推数存放在cx_ods_safe.paczcb_paczdata_cz_policy_detail_info.data字段中 {"applicants":[{"birthday":-247478400000, 阅读全文
posted @ 2019-08-26 20:10 db_record 阅读(11709) 评论(0) 推荐(1) 编辑
spark与mapreduce的区别
摘要：spark是通过借鉴Hadoop mapreduce发展而来，继承了其分布式并行计算的优点，并改进了mapreduce明显的缺陷，具体表现在以下几方面： 1.spark把中间计算结果存放在内存中，减少迭代过程中的数据落地，能够实现数据高效共享，迭代运算效率高。mapreduce中的计算中间结果是保存 阅读全文
posted @ 2019-08-24 16:42 db_record 阅读(6245) 评论(0) 推荐(0) 编辑
见证成长路--这是第一步：2019-08-13
摘要：人生都是有轨迹的，不要做清风，吹过不留痕，人生就是要留下走过的脚印，一步一步，今天从第一步开始！ 阅读全文
posted @ 2019-08-13 15:08 db_record 阅读(180) 评论(0) 推荐(0) 编辑