怎么用spark做数据清洗

数据清洗的目的是为了保证数据质量，包括数据的完整性、唯一性、一致性、合法性和权威性。数据清洗的结果是对各种脏数据进行对应的处理方式，从而得到标准的、干净的、连续的数据，提供给数据统计和数据挖掘使用。

解决数据的完整性问题：
(1) 通过其他信息不全；
(2) 通过前后数据不全；
(3) 如果实在无法不全，虽然可惜，但是还是要剔除掉进行统计。但是没必要删除，后续其他分析可能还需要。

解决数据的唯一性问题：
(1) 根据主键进行去除，去除重复数据；
(2) 制定一系列规则，保证根据某种规则下只保存一条数据。

解决数据权威性的问题：
选择最权威的数据作为统计和挖掘。
解决合法性的问题：
设定判定规则，通过特定的规则来判断字段或者值来确定数据是否需要被清洗。