摘要:
问题:启动HBase时发现Hadoop164的regionserver没有启起来 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hbase-2.0.5 阅读全文
2021年8月3日 #
2021年7月31日 #
摘要:
第1章 需求分析和实现思路 1.1 实时数仓分层 在之前介绍实时数仓概念时讨论过,建设实时数仓的目的,主要是增加数据计算的复用性。每次新增加统计需求时,不至于从原始数据进行计算,而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据,并进行简单处理,写回到kafka作为 阅读全文
2021年7月28日 #
摘要:
1)报错信息如下: java.lang.NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend at java.lang.Class.getDeclaredMethods0(Native Method) at java.la 阅读全文
摘要:
第1章 电商实时数仓介绍 1.1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性,所以从数据源采集经过实时计算直接得到结果。如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉淀下来,所以当面对大量实时需求的时候,计算的复用性较差,开发成本随着需求增加直线上升。 实时数仓基于一定的数 阅读全文
2021年7月27日 #
摘要:
第11章 Flink SQL编程 如果用户需要同时流计算、批处理的场景下,用户需要维护两套业务代码,开发人员也要维护两套技术栈,非常不方便。Flink 社区很早就设想过将批数据看作一个有界流数据,将批处理看作流计算的一个特例,从而实现流批统一,Flink 社区的开发人员在多轮讨论后,基本敲定了Fli 阅读全文
2021年7月23日 #
摘要:
第8章 Flink流处理高阶编程实战 8.1 基于埋点日志数据的网络流量统计 8.1.1 指定时间范围内网站总浏览量(PV)的统计 实现一个网站总浏览量的统计。我们可以设置滚动时间窗口,实时统计每小时内的网站PV。此前我们已经完成了该需求的流数据操作,当前需求是在之前的基础上增加了窗口信息 pack 阅读全文
2021年7月21日 #
摘要:
第6章 Flink流处理核心编程实战 6.1 基于埋点日志数据的网络流量统计 6.1.1 网站总浏览量(PV)的统计 衡量网站流量一个最简单的指标,就是网站的页面浏览量(Page View,PV)。用户每次打开一个页面便记录1次PV,多次打开同一页面则浏览量累计。 一般来说,PV与来访者的数量成正比 阅读全文
摘要:
问题:Caused by: org.apache.hadoop.security.AccessControlException: Permission denied..... 解决方案一:在VM参数中添加用户(该用户是能在HDFS中创建目录,即拥有权限的用户) 解决方案二:在程序代码中设置用户名 S 阅读全文
2021年7月19日 #
摘要:
第4章 Flink运行架构 4.1 运行架构 官网:https://flink.apache.org 查看官网介绍之后得出结论:Flink运行时包含2种进程 1个JobManager和至少1个TaskManager 4.1.1 客户端 严格上说, 客户端不是运行和程序执行的一部分, 而是用于准备和发 阅读全文
2021年7月15日 #
摘要:
第1章 Flink简介 1.1 初识Flink Flink起源于Stratosphere项目,Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会,参加这个孵化 阅读全文