用户画像数据处理流程

数据源:

用户信息数据+用户交易数据=业务数据（来自业务系统的数据库中）

用户访问日志数据:点击流数据

数据采集:sqoop定时抽取数据库表（增量数据）=》hadoop集群；flume采集点击流数据=>hadoop集群

 

hadoop集群:HDFS:按天进行分布存储

hive建立数据仓库=>sparkSql数据处理=》模型表=>hbase=>建立映射表

hive模型数据=>mysql(数据量大，E，千万级别）不在灌入Mysql,灌入HBASE

Hbase=>Phoenix(hbase,sql解析引擎)

通过Phoneix解析引擎将sql转换成java api操作，操作hbase(hbase不支持sql),性能也高于hbase java api