会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
时间的往事
所有命运赠送的礼物,早已在暗中标着价格。
博客园
首页
新随笔
联系
管理
2023年4月14日
解决Spark读取tmp结尾的文件报错的问题
摘要:
业务场景 flume采集文件到hdfs中,在采集中的文件会添加.tmp后缀。一个批次完成提交后,会将.tmp后缀重名名,将tmp去掉。 所以,当Spark程序读取到该hive外部表映射的路径时,如果恰好这个文件被重命名过,就会出现找不到xxx.tmp文件的问题出现。 解决思路: Hdfs提供了读取文
阅读全文
posted @ 2023-04-14 11:27 硅谷工具人
阅读(36)
评论(0)
推荐(0)
编辑
公告
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。