【SAS NOTES】脏数据
从明细文件着手做分析，最痛恨的就是脏数据导致分析出错。例如1月的数据格式是有6个字段，结果到6月就只剩5个字段，到了9月又产生了11个字段。即使是同一个字段，不同周期的数据格式也不一致，例如2012-8-19 12:16 到了九月就成了2012-8-19 12:16:08 数据格式的问题纠结很久。
所以说数据清洗很重要。
上次分析的代码因解决格式问题更新如下：
1 data guanhui.buydetail;/*导入2012年莞惠网交易明细汇总*/ 2 infile 'E:\交易明细汇总.txt' firstobs=2; 3 input file & :$300. @@; 4 serv_number=scan(file,1,'|'); 5 pay_way=scan(file,2,'|'); 6 fee_a=scan(file,3,'|'); 7 fee=input(fee_a,best.); 8 pay_date=scan(file,4,'|'); 9 pay_month=scan(file,5,'|'); 10 goods_name=scan(file,6,'|'); 11 buy_date=scan(pay_date,1,' '); 12 buy_clock=scan(pay_date,2,' '); 13 buy_year=scan(buy_date,1,'-'); 14 buy_month=scan(buy_date,2,'-'); 15 buy_day=scan(buy_date,3,'-'); 16 buy_hour=scan(buy_clock,1,':'); 17 buy_minute=scan(buy_clock,2,':'); 18 buy_time=DHMS(mdy(buy_month,buy_day,buy_year),buy_hour,buy_minute,0); 19 run;
方法是用一个变量读入每一行的所有值，然后用scan去区分不同字段，可以添加if判断，更精准。我直接省事情舍掉了对分析用处不大的秒字段以及交易细节字段。
