06 2020 档案

摘要:hive简单的数据结构像基本类型一样,处理起来没有难度。但是hive有复杂的数据结构如struct、map、array等,处理起来较为复杂了,下面简单介绍一下用spark处理hive复杂数据结构。 一:struct结构 熟悉C语言的同学可能会对这个比较熟悉。C语言中稍微复杂的类型都是由struct构 阅读全文
posted @ 2020-06-28 00:20 Kotlin 阅读(5313) 评论(0) 推荐(0) 编辑
摘要:在生产环境中遇到了这种情况:spark程序需要处理输入是多个目录,输出也是多个目录。但是处理的逻辑都是相同的。 使用方法经历多次修改,最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理,在此记录一下。程序中所有异常处理,建议都在函数里面处理好,不要直接写一些处理代码。这样 阅读全文
posted @ 2020-06-26 22:15 Kotlin 阅读(702) 评论(0) 推荐(0) 编辑

Live2D
点击右上角即可分享
微信分享提示
西雅图
13:14发布
西雅图
13:14发布
4°
东风
3级
空气质量
相对湿度
92%
今天
多云
3°/15°
周四
4°/15°
周五
4°/14°