摘要: 1、数据格式 sensor_1,1547718199,35.8 sensor_6,1547718201,15.4 sensor_7,1547718202,6.7 sensor_10,1547718205,38.1 sensor_1,1547718206,32 sensor_1,1547718208, 阅读全文
posted @ 2021-01-05 21:19 小白啊小白,Fighting 阅读(507) 评论(0) 推荐(0) 编辑
摘要: 1、数据格式 83.149.9.123 - - 17/05/2020:10:05:03 +0000 GET /presentations/logstash-kafkamonitor-2020/images/kibana-search.png 83.149.9.123 - - 17/05/2020:1 阅读全文
posted @ 2021-01-05 11:49 小白啊小白,Fighting 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 1、数据格式 543462,1715,北京,北京,1511658000 662867,2244074,广东,广州,1511658060 561558,3611281,广东,深圳,1511658120 894923,1715,北京,北京,1511658180 834377,2244074,上海,上海, 阅读全文
posted @ 2021-01-05 11:47 小白啊小白,Fighting 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 1、数据格式 1021615,4355712,15138396,P,1601688552,913d5742-0fd8-46db-bb26-8cf0d09d90da 2178695,12498888,2595117,P,1601688552,3d29d1e2-d514-4991-bd79-9a866a 阅读全文
posted @ 2021-01-05 11:44 小白啊小白,Fighting 阅读(1400) 评论(0) 推荐(0) 编辑
摘要: 1、数据格式 1021615,4355712,15138396,P,1601688552,913d5742-0fd8-46db-bb26-8cf0d09d90da 2178695,12498888,2595117,P,1601688552,3d29d1e2-d514-4991-bd79-9a866a 阅读全文
posted @ 2021-01-05 11:43 小白啊小白,Fighting 阅读(3020) 评论(0) 推荐(0) 编辑
摘要: 大数据处理中,用去去重,布隆过滤器十分常见 1、代码 // 定义一个布隆过滤器 class Bloom(size: Long) extends Serializable { //布隆过滤器的默认大小是32M //32 * 1024 * 1024 * 8 //2^5 2^10 2^10 * 2^3 / 阅读全文
posted @ 2021-01-05 11:34 小白啊小白,Fighting 阅读(1290) 评论(0) 推荐(0) 编辑