摘要: 在电商网站中,订单的支付作为直接与营销收入挂钩的一环,在业务流程中非常重要。对于订单而言,为了正确控制业务流程,也为了增加用户的支付意愿,网站一般会设置一个支付失效时间,超过一段时间不支付的订单就会被取消。另外,对于订单的支付,我们还应保证用户支付的正确性,这可以通过第三方支付平台的交易数据来做一个 阅读全文
posted @ 2020-12-17 10:51 huihui大数据 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 1.1 模块创建和数据准备 继续在Flink-Project下新建一个 maven module作为子项目,命名为gmall-login-fail。在这个子模块中,我们将会用到flink的CEP库来实现事件流的模式匹配,所以需要在pom文件中引入CEP的相关依赖: <dependency> <gro 阅读全文
posted @ 2020-12-15 22:53 huihui大数据 阅读(220) 评论(0) 推荐(0) 编辑
摘要: 1.1 模块创建和数据准备 继续在Flink-Project下新建一个 maven module作为子项目,命名为gmall-market。 这个模块中我们没有现成的数据,所以会用自定义的测试源来产生测试数据流,或者直接用生成测试数据文件。 1.2 APP市场推广统计 随着智能手机的普及,在如今的电 阅读全文
posted @ 2020-12-14 13:04 huihui大数据 阅读(485) 评论(0) 推荐(0) 编辑
摘要: 1.1 模块创建和数据准备 在Flink-project下新建一个 maven module作为子项目,命名为gmall-network-flow。在这个子模块中,我们同样并没有引入更多的依赖,所以也不需要改动pom文件。 在src/main/目录下,将apache服务器的日志文件apache.lo 阅读全文
posted @ 2020-12-08 19:07 huihui大数据 阅读(383) 评论(0) 推荐(0) 编辑
摘要: 一项目整体介绍 1.1 电商的用户行为 电商用户行为数据多样,整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等。我们可以从中进行流量统计和热门商品的统计,也可以深入挖掘用户的特征;这些数据往往可 阅读全文
posted @ 2020-12-04 23:31 huihui大数据 阅读(593) 评论(0) 推荐(0) 编辑
摘要: 1 函数类(Function Classes) Flink暴露了所有udf函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。 下面例子实现了FilterFunction接口: DataStream<String> 阅读全文
posted @ 2020-11-29 12:00 huihui大数据 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 转换算子 1.map DataStream<Integer> mapStram = dataStream.map(new MapFunction<String, Integer>() { public Integer map(String value) throws Exception { retu 阅读全文
posted @ 2020-11-29 11:48 huihui大数据 阅读(93) 评论(0) 推荐(0) 编辑