if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o...

运行spark程序一直报错:

if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o

原因: 文件里有一行数据为垃圾数据, 这行数据的列数和列名的个数不一致.

解决办法: 过滤掉这样的数据

.filter(_.length == infoSchema.fieldNames.length)