2020年8月25日
Spark读取txt文件跳过第一行
摘要： 一、概述 在实际应用中经常会碰到CSV文件带有表头的情况，Spark对CSV文件有响应的跳过表头的方法，Txt格式的文件没有响应的方法，需要加一个过滤器。 二、实现方法 如果第一条记录中只有一个标题行，那么过滤它的最有效方法是： rdd.mapPartitionsWithIndex { (idx,  阅读全文
posted @ 2020-08-25 13:37 虎啸千峰 阅读(2400) 评论(0) 推荐(0) 编辑