Spark读取txt文件跳过第一行

一、概述

 在实际应用中经常会碰到CSV文件带有表头的情况，Spark对CSV文件有响应的跳过表头的方法，Txt格式的文件没有响应的方法，需要加一个过滤器。

二、实现方法

  如果第一条记录中只有一个标题行，那么过滤它的最有效方法是：

   rdd.mapPartitionsWithIndex {

  (idx, iter) => if (idx == 0) iter.drop(1) else iter 
}

即使用索引的方法把第一行过滤掉，这个只适合于去除第一行表头。