摘要:
集群 standalone 安装部署 下载安装包 下载页面:https://archive.apache.org/dist/flink/flink-1.7.2/ 我这里安装的 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 版本。 修改配置文件 conf/flink- 阅读全文
摘要:
Flink的重要角色 Flink是非常经典的Master/Slave结构实现,JobManager是Master,TaskManager是Slave。 JobManager处理器(Master) 协调分布式执行,它们用来调度task,协调检查点(CheckPoint),协调失败时恢复等 Flink运 阅读全文
摘要:
下面通过一个单词统计的案例,快速上手应用 Flink,进行流处理(Streaming)和批处理(Batch) 单词统计(批处理) 引入依赖 <!--flink核心包--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>fli 阅读全文
摘要:
概念 git 中的术语解释: 仓库也叫版本库(repository) stage:暂存区,add 后会存到暂存区,commit 后提交到版本库 git 安装 linux 下安装 git 第一种方法:yum install git-core 安装的版本比较老 第二种方法:(我是 linux cento 阅读全文
摘要:
Flink 概述 什么是 Flink Apache Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、高可用的数据流应用程序。可以处理有限数据流和无限数据,即能够处理有边界和无边界的数据流。无边界的数据流就是真正意义上的流数据,所以 Flink 是支持流计算的。有边界的数据流就 阅读全文
摘要:
我的疑问 工作之后每天都要花时间学习技术,技术水平却没有预想的提升,离大佬也还是所差甚远。 我一直在反思是哪个环节出了问题,是学习方法不对,还是学习的内容不够好。而最近看了一篇文章《你的学习是否只是一场行为艺术》,我发现这么多年我一直在假学习!!! 回顾过往 回顾我自己的学习经历: 从刚开始接触工作 阅读全文
摘要:
HBase API 应用 引入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1</version> </dependency> HBase 阅读全文
摘要:
HBase 读写数据流程 Hbase 读数据流程 首先从 zk 找到 meta 表的 region 位置,然后读取 meta 表中的数据,meta 表中存储了用户表的 region 信息 根据要查询的 namespace、表名和 rowkey 信息,找到写入数据对应的 region 信息 找到这个 阅读全文
摘要:
背景介绍 公司最近做分库分表业务,接入了 Sharding JDBC,接入完成后,回归测试时发现好几个 SQL 执行报错,关键这几个表都还不是分片表。报错如下: 这下糟了嘛。熟悉 Sharding JDBC 的同学应该知道,有很多 SQL 它是不支持的。官方截图如下: 如果要去修改这些复杂 SQL 阅读全文
摘要:
HBase 集群部署 安装 hbase 之前需要先搭建好 hadoop 集群和 zookeeper 集群。hadoop 集群搭建可以参考:https://www.cnblogs.com/javammc/p/16545146.html 下载安装包 http://archive.apache.org/d 阅读全文