摘要: 前端埋点数据采集(二)mock应用系统10万条前端埋点数据 上一期我们分享了前端埋点数据采集(一)采集系统架构设计 我们说应用系统的数据,采集到大数据平台来,然后再到数仓。但是很多实际场景是应用系统、大数据平台、数仓平台各自并没有完成系统的搭建和开发。 假设现在一个场景是:应用系统javaweb并未 阅读全文
posted @ 2024-05-06 18:09 爵岚 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 前几次内容分享,我们逐步搭建了传统hadoop大数据平台、zookeeper、kafka集群等。 假设现在一个场景是:今天产品经理提了1个优先级极高的需求:应用系统前端埋点数据都需要被采集到大数据平台hadoop上。 “前端埋点数据的采集系列”,主要分为以下5个部分: 一、采集系统架构设计 二、mo 阅读全文
posted @ 2024-05-06 17:53 爵岚 阅读(214) 评论(0) 推荐(0) 编辑
摘要: 前几次内容分享,我们一共做了三件事: 1.逐步搭建了传统hadoop大数据平台包括zookeeper、kafka、flume集群 2.采集前端埋点到hdfs 3.采集业务数据到hdfs 这样数据都采集到HDFS上了,其实就是到了数仓了! 数据采集请看以下链接: 前端埋点数据采集系列 一、采集系统架构 阅读全文
posted @ 2024-05-06 17:46 爵岚 阅读(227) 评论(0) 推荐(0) 编辑