摘要: 大数据环境基本都是utf-8编码,如果数据文件非utf-8编码,Spark读取时会乱码,经验项目验证,通过sc.hadoopFile接口比较可靠,该接口返回的数据每行表示为<行偏移,行内容Text>,然后通过map方法,重新构造String,这样获得的String不会乱码,具体实现方式如下代码: / 阅读全文
posted @ 2021-12-31 10:20 远去的列车 阅读(362) 评论(0) 推荐(0) 编辑