01 2022 档案
摘要：重启后用浏览器访问localhost:8082即可，就可以看到job的运行的信息了！
阅读全文
摘要：1.1 Data Source数据源 在实时计算DataStream API中，Source是用来获取外部数据源的操作，按照获取数据的方式，可以分为：基于集合的Source、基于Socket网络端口的Source、基于文件的Source、第三方Connector Source和自定义Source五种
阅读全文
摘要：1 Flink编程入门 1.1 初始化Flink项目模板 执行maven命令，如果maven本地仓库没有依赖的jar，需要有网络 或者在命令行中执行下面的命令，需要有网络 执行maven命令，如果maven本地仓库没有依赖的jar，需要有网络 或者在命令行中执行下面的命令 1.2 DataFlow编
阅读全文
摘要：1、standalone模式搭建 standalone模式是Flink自带的分布式集群模式，不依赖其他的资源调度框架； 这里使用三台主机搭建，86可以免密登录到88、89： 172.17.28.86 cs-28-86 172.17.28.88 cs-28-88 172.17.28.89 cs-28-
阅读全文
摘要：Flink简介 Flink的历史 批流统一 支持高吞吐、低延迟、高性能的流处 支持带有事件时间的窗口（Window）操作 支持有状态计算的Exactly-once语义 支持高度灵活的窗口（Window）操作，支持基于time、count、session窗口操作 支持具有Backpressure功能的
阅读全文
摘要：一、免密登录的方法 下面操作是把/root/.ssh/id_dsa.pub文件内容追加到系统中的/root/.ssh/authorized_keys文件中； # 创建并发送密钥，第一次登录需要输入yes ssh-keygen -t rsa -P "" ssh-copy-id -i /root/.ss
阅读全文
摘要：由于请求不均匀，手动移动将一些region移动到请求量较低的region server 1、去某个region server中找到想要移动的region： 记录红框的id值，这个是唯一的region ID 2、查看RegionServer列表，记录region server信息 要把region移动
阅读全文
摘要：说明：集群A中有张表t1，现在想让往t1中写入数据后，集群B中的t1表，也会有这些数据，两个集群中的t1表，名字和结构一样； 操作案例： 【Hbase表集群间同步】源集群要更改hbase配置：hbase.replication => true 目标集群hbase配置不动； 并且hbase的WAL日志
阅读全文
摘要：HBase提供五个权限标识符：(RWXCA) R - 读 W - 写 X - 执行 C - 创建 A - 管理 例子： (1)授权namespace： Hbase授权zhangsan用户对ai namespace下的写权限： hbase>grant 'zhangsan','W','@ai' (2)授
阅读全文
摘要：1、主机准备 这里以三节点为例； 准备三台环境纯净的centos7主机， 要可以正常连接yum源, root用户操作； 随便安装一个包，测试一下yum: yum -y install lrzsz 主机情况：2核 4G，硬盘40G；这个配置其实太小，单节点内存尽量要给到8G以上比较好； 主机资源看个人
阅读全文
摘要：hbase1版本向hbase2版本表数据迁移； #这里使用hbase的 Snapshot功能实现 1、源集群 flush刷新内存数据到磁盘hbase> flush 'tablename' 并且，如果条件允许，尽可能disable表； 2、源集群 ，创建表快照 hbase> snapshot '表名'
阅读全文
