摘要：
问题：启动HBase时发现Hadoop164的regionserver没有启起来 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hbase-2.0.5 阅读全文
2021年8月3日 #
2021年7月31日 #
摘要：
第1章 需求分析和实现思路 1.1 实时数仓分层 在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为 阅读全文
2021年7月28日 #
摘要：
1）报错信息如下： java.lang.NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend at java.lang.Class.getDeclaredMethods0(Native Method) at java.la 阅读全文
摘要：
第1章 电商实时数仓介绍 1.1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。 实时数仓基于一定的数 阅读全文
2021年7月27日 #
摘要：
第11章 Flink SQL编程 如果用户需要同时流计算、批处理的场景下，用户需要维护两套业务代码，开发人员也要维护两套技术栈，非常不方便。Flink 社区很早就设想过将批数据看作一个有界流数据，将批处理看作流计算的一个特例，从而实现流批统一，Flink 社区的开发人员在多轮讨论后，基本敲定了Fli 阅读全文
2021年7月23日 #
摘要：
第8章 Flink流处理高阶编程实战 8.1 基于埋点日志数据的网络流量统计 8.1.1 指定时间范围内网站总浏览量（PV）的统计 实现一个网站总浏览量的统计。我们可以设置滚动时间窗口，实时统计每小时内的网站PV。此前我们已经完成了该需求的流数据操作，当前需求是在之前的基础上增加了窗口信息 pack 阅读全文
2021年7月21日 #
摘要：
第6章 Flink流处理核心编程实战 6.1 基于埋点日志数据的网络流量统计 6.1.1 网站总浏览量（PV）的统计 衡量网站流量一个最简单的指标，就是网站的页面浏览量（Page View，PV）。用户每次打开一个页面便记录1次PV，多次打开同一页面则浏览量累计。 一般来说，PV与来访者的数量成正比 阅读全文
摘要：
问题：Caused by: org.apache.hadoop.security.AccessControlException: Permission denied..... 解决方案一：在VM参数中添加用户（该用户是能在HDFS中创建目录，即拥有权限的用户） 解决方案二：在程序代码中设置用户名 S 阅读全文
2021年7月19日 #
摘要：
第4章 Flink运行架构 4.1 运行架构 官网：https://flink.apache.org 查看官网介绍之后得出结论：Flink运行时包含2种进程 1个JobManager和至少1个TaskManager 4.1.1 客户端 严格上说, 客户端不是运行和程序执行的一部分, 而是用于准备和发 阅读全文
2021年7月15日 #
摘要：
第1章 Flink简介 1.1 初识Flink Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化 阅读全文