摘要: 解决Spark读取tmp结尾的文件报错的问题 业务场景 flume采集文件到hdfs中,在采集中的文件会添加.tmp后缀。一个批次完成提交后,会将.tmp后缀重名名,将tmp去掉。 所以,当Spark程序读取到该hive外部表映射的路径时,如果恰好这个文件被重命名过,就会出现找不到xxx.tmp文件的问题出现。 解决思路: Hdfs提供了读取文 阅读全文
posted @ 2023-04-14 11:27 硅谷工具人 阅读(36) 评论(0) 推荐(0) 编辑
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。