学习进度1
一、 数据说明：
1、数据组成
（1）增值税发票数据，文件名zzsfp
（2）发票对应货物明细数据，文件名zzsfp_hwmx
（3）企业信息，文件名nsrxx
2、数据字段说明
（1）zzsfp表字典
|
字段名称 |
字段含义 |
数据类型 |
备注 |
|
fp_nid |
发票id |
String |
发票唯一标识 |
|
xf_id |
销方识别号 |
String |
企业唯一身份标识 |
|
gf_id |
购方识别号 |
String |
企业唯一身份标识 |
|
je |
金额 |
Double |
|
|
se |
税额 |
Double |
|
|
jshj |
价税合计 |
Double |
|
|
kpyf |
开票月份 |
String |
|
|
kprq |
开票日期 |
String |
|
|
zfbz |
作废标志 |
String |
‘Y’代表作废 |
zzsfp表内容（$ less zzsfp）
（2）zzsfp_hwmx表
|
字段名称 |
字段含义 |
数据类型 |
备注 |
|
fp_nid |
发票id |
String |
发票唯一标识 |
|
date_key |
开票月份 |
String |
|
|
hwmc |
货物名称 |
String |
|
|
ggxh |
规格型号 |
String |
|
|
dw |
单位 |
String |
|
|
sl |
数量 |
Double |
|
|
dj |
单价 |
Double |
|
|
je |
金额 |
Double |
|
|
se |
税额 |
Double |
|
|
spbm |
商品编码 |
String |
|
zzsfp_hwmx表内容（$ less zzsfp_hwmx）
（3）nsrxx表
|
字段名称 |
字段含义 |
数据类型 |
备注 |
|
hydm |
行业代码 |
String |
|
|
nsr_id |
纳税人id |
String |
企业唯一身份标识 |
|
djzclx_dm |
登记注册类型代码 |
String |
网上可查阅相关代码含义 |
|
kydjrq |
开业登记日期 |
String |
|
|
xgrq |
修改日期 |
String |
给企业打标签的时间 |
|
label |
标签 |
String |
‘0’代表正常企业 ‘1’代表问题企业 |
nsrxx表内容（$ less nsrxx）
3、关联数据的必要说明
（1）zzsfp表可通过fp_nid进行关联
（2）zzsfp表可通过xf_id或者gf_id与nsrxx中的nsr_id进行关联，分离出销项发票表和进项发票表
二、 测试要求：
1、数据导入：
要求将三个样表文件中的数据导入HIVE数据仓库中。
2、数据分析：
企业异常的判断标准参考：
企业增值税发票进项与出项严重不符即出现只出不进或者只进不出的企业；
（1）、将zzsfp、zzsfp_hwmx、nsrxx三个表根据连接在一起，zzsfp和zzsfp_hwmx考fp_nid连接，连接好之后和nsrxx连接，靠xf_id进行连接。
关联语句：select zzsfp.fp_nid,zzsfp.xf_id,zzsfp.gf_id,zzsfp.je,zzsfp_hwmx.hwmc,zzsfp_hwmx.je,nsrxx.nsr_id join zzsfp on zzsfp_hwmx on zzsfp.fp_nid = zzsfp_hwmx.fp_nid join nsrxx on zzsfp.xs_id = nsrxx.nsr_id;
（2）、处理的是金额和货物明细中相同fp_nid中相同id的货物累加在一起的差值，进行排序
（3）、在第二步基础上筛选只进不出的或是只出不进的，只出不进或者只进不出的je就 会等于出和进的差价
sql语句:select * from nsrxx where je = ljje;
（4）、前期的标准均是定死的会筛选出大概4600家厂家，最后再根据中位数进行筛选。
3、处理结果入库：
将上述异常标准的结果分别汇总统计，并将结果数据导出到mySQL数据库中。
最终结果参考提示：
最终给出的数据情况
企业总数：33,829
非正常企业总数：318
