打赏
摘要: 7 模块开发—统计分析 注:每一种统计指标都可以跟各维度表进行叉乘,从而得出各个维度的统计结果篇幅限制,叉乘的代码及注释信息详见项目 工程代码文件,为了在前端展示时速度更快,每一个指标都事先算出各维度结果存入mysql 1. PV统计 1.1 多维度统计PV总量 1. 时间维度 阅读全文
posted @ 2018-07-19 18:13 QueryMarsBo 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 项目的数据分析过程在hadoop集群上实现,主要应用hive数据仓库工具,因此,采集并经过预处理后的数据,需 要加载到hive数据仓库中,以进行后续的挖掘分析。 ETL:用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程 6.1创建原始数 阅读全文
posted @ 2018-07-19 10:41 QueryMarsBo 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 注:采用星型模型 5.1 事实表 原始数据表:t_origin_weblog valid string 是否有效 remote_addr string 访客ip remote_user string 访客用户信息 time_local string 请求时间 request string 请求url 阅读全文
posted @ 2018-07-19 08:54 QueryMarsBo 阅读(586) 评论(0) 推荐(0) 编辑