10 2020 档案
该文被密码保护。
该文被密码保护。
该文被密码保护。
摘要：文章目录 1. 问题出现的场景 2. UnknownTopicOrPartitionException 3. 问题原因分析 3.1 既然会自动创建 topic，为什么还会报UnknownTopicOrPartitionException？ 4. UnknownTopicOrPartitionExce
阅读全文
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
摘要：0 简介 分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 1 虚拟机准备 2 编写集群分发脚本xsync 1）scp（secure copy）安全拷
阅读全文
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
摘要：1、半数机制，安装奇数台 2、常用命令 ls get create 3、paxos算法 今日头条 4、安装台数 10台服务器安装多少zk 3台 20台服务器安装多少zk 5台 50台服务器安装多少zk 7台 100台服务器安装多少zk 11台 Zookeeper越多好还是越少好？ 台数多，好处：提高
阅读全文
摘要：1、组成source channel sink 事务（put/take） 1）taildir source （1）断点续传、多目录 （2）哪个flume版本产生的？Apache1.7 cdh1.6 （3）没有断点续传功能时怎么做的？ 自定义 （4）taildir挂了怎么办？ 不会丢数：断点续传 ，但
阅读全文
摘要：Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。 Flink 与 Hive 的集成包含两个层面。 一是利用了 Hive 的 MetaStore 作为持久化的 Catalog，
阅读全文
摘要：Flink Table 和 SQL内置了很多SQL中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 1 系统内置函数 Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多函数，Table API和SQL都已经做了实现，其
阅读全文
摘要：1 常规窗口 时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看Table API和SQL中，怎么利用时间字段做窗口操作。 在Table API和SQL中，主要有两种窗口：Group Windows和Over Windows 1.1 分组窗口 分
阅读全文
摘要：Table API和SQL，本质上还是基于关系型表的操作方式；而关系型表、关系代数，以及SQL本身，一般是有界的，更适合批处理的场景。这就导致在进行流处理的过程中，理解会稍微复杂一些，需要引入一些特殊概念。 1 流处理和关系代数（表，及SQL）的区别 关系代数（表）/SQL流处理 处理的数据对象 字
阅读全文
摘要：1 基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义source、transform和sink。 具体操作流程如下： val tableEnv = ... // 创建表环境 // 创建表 tableEnv.co
阅读全文
