上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页
摘要: 1、PageStartV2App.java src/main/java/project/mrv2/PageStartV2App.java 与ProvinceStartV2App.java相同 重要的是使用logParser.parserv2(log),然后使用pageId作为key值 package 阅读全文
posted @ 2021-07-27 15:22 酱汁怪兽 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 1、修改LogParser.java src/main/java/project/utils/LogParser.java package project.utils; import org.apache.commons.lang.StringUtils; import java.util.Hash 阅读全文
posted @ 2021-07-27 15:07 酱汁怪兽 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 1、PVStartV2App.java src/main/java/project/mrv2/PVStartV2App.java 升级之处:数据输入来源为input/etl,即ETLApp.java的输出,即不读取全部原始数据,只读取处理后的数据。 package project.mrv2; /* 阅读全文
posted @ 2021-07-27 09:39 酱汁怪兽 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 1、ETL重要性 有了ETL,就不需要reduce了。 依次打开PageStartApp.java、ProvinceStartApp.java、PVStartApp.java作业处理类 (1)输入数据都是access/raw/input/trackinfo_20130721.data (2)trac 阅读全文
posted @ 2021-07-26 17:26 酱汁怪兽 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 1、增加PageStartApp.java src/main/java/project/mrv1/PageStartApp.java package project.mrv1; import org.apache.commons.lang.StringUtils; import org.apache 阅读全文
posted @ 2021-07-26 15:10 酱汁怪兽 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 1、url选择 (1)必选带 topicId= 2、目标 (1)获取符合规则的pageId,然后进行统计 3、修改LogParser.java src/main/java/project/utils/LogParser.java package project.utils; import org.a 阅读全文
posted @ 2021-07-26 14:42 酱汁怪兽 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 1、ProvinceStartApp.java src/main/java/project/mrv1/ProvinceStartApp.java package project.mrv1; import org.apache.commons.lang.StringUtils; import org. 阅读全文
posted @ 2021-07-23 16:58 酱汁怪兽 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 1、LogParser.java src/main/java/project/utils/LogParser.java 工具类 package project.utils; import org.apache.commons.lang.StringUtils; import java.util.Ha 阅读全文
posted @ 2021-07-23 15:20 酱汁怪兽 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1、IP库解析 2、IPTest.java src/test/java/mr/project/utils/IPTest.java package mr.project.utils; import org.junit.Test; import project.utils.IPParser; publi 阅读全文
posted @ 2021-07-23 10:40 酱汁怪兽 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1、统计页面的浏览量 将读入进来的文件count将一行记录做成一个固定的key,value赋值为1 2、PVStartApp.java src/main/java/project/mrv1/PVStartApp.java package project.mrv1; /* * 第一版本浏览量的统计 * 阅读全文
posted @ 2021-07-22 10:15 酱汁怪兽 阅读(331) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页