06 2020 档案
摘要:hive简单的数据结构像基本类型一样,处理起来没有难度。但是hive有复杂的数据结构如struct、map、array等,处理起来较为复杂了,下面简单介绍一下用spark处理hive复杂数据结构。 一:struct结构 熟悉C语言的同学可能会对这个比较熟悉。C语言中稍微复杂的类型都是由struct构
阅读全文
摘要:在生产环境中遇到了这种情况:spark程序需要处理输入是多个目录,输出也是多个目录。但是处理的逻辑都是相同的。 使用方法经历多次修改,最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理,在此记录一下。程序中所有异常处理,建议都在函数里面处理好,不要直接写一些处理代码。这样
阅读全文