摘要: 系统架构 Flink整体架构 Flink整体架构中,最为重要的是JobManager和TaskManager。JobManager负责管理提交执行的作业,负责管理调度,因此在不开启高可用的情况下,一般只会有一个。TaskManager则是负责执行任务处理数据,所以可以存在多个。 Flink程序中的客 阅读全文
posted @ 2021-12-10 21:45 KaneQi 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 流式数据的一些实际应用场景 电商:快速响应市场需求和变化 物联网:获取传感器的数据 物流:订单的实时变化 金融:资金的动态实时变化 …… 流式数据的一些发展和演变 有界流与无界流 有界流数据是有量的,一般是以某个时间点或者指定一些范围 数据没有定量,可以是无穷尽,现实生活中大部分流式数据基本都是无界 阅读全文
posted @ 2021-12-10 00:06 KaneQi 阅读(47) 评论(0) 推荐(0) 编辑
摘要: Phoenix 启动报错: Error: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found but client do 阅读全文
posted @ 2021-12-01 16:23 KaneQi 阅读(2625) 评论(0) 推荐(0) 编辑
摘要: hive中文注释乱码解决方案: 一开始建表时后面的comment都是写的中文,但是因为建表解析的原因,最终显示的时候红色框住部分全部都是问号。 而理想状态应该是这样 查阅资料发现下面两种方法可以进行修改建表解析方式 ①在Hive元数据存储的Mysql数据库中,执行以下SQL: #修改字段注释字符集 阅读全文
posted @ 2021-11-22 21:29 KaneQi 阅读(527) 评论(0) 推荐(0) 编辑
摘要: 1.常用方法 1、添加操作(与之前的有点不同) V put(K key,V value) void putAll(Map<? extends K,? extends V> m) 2、删除 void clear() 清空所有键值对 V remove(Object key) 移除指定key的键值对 3、 阅读全文
posted @ 2021-11-19 11:28 KaneQi 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 1.基本概述 Set接口是Collection的子接口,set接口没有提供额外的方法。但是比Collection接口更加严格了。 2.特点 Set 集合不允许包含相同的元素,即元素唯一。 Set集合支持的遍历方式和Collection集合一样:foreach和Iterator。 Set的常用实现类有 阅读全文
posted @ 2021-11-19 11:17 KaneQi 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 一次偶然操作,图快在web界面直接操作删除了一些文件,刷新后出现下面的情况 Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes 阅读全文
posted @ 2021-11-16 18:44 KaneQi 阅读(1009) 评论(0) 推荐(0) 编辑
摘要: dos指令(win和Linux上删除指令不太一样 java环境变量设置,尽量不要设置出中文名称变量,后续会影响路径读取 public只能修饰一个类,且该类的名称和文件名称一致,同一文件中可以有多个类 类、方法、常量的基本命名规范和规则 标识符:java 对类名 方法名 变量名 包名 等命名时采用的字 阅读全文
posted @ 2021-11-09 20:49 KaneQi 阅读(31) 评论(0) 推荐(0) 编辑
摘要: Java语言概述 了解基本概念:系统软件、应用软件 掌握常用DOS命令 了解计算机语言发展史与Java语言发展史 了解Java语言特点:面向对象;健壮性;跨平台型 了解Java应用领域 JavaEE后台开发 大数据开发 移动端Android开发 掌握JDK、JRE、JVM三者关系与包含的内容 掌握J 阅读全文
posted @ 2021-11-09 20:43 KaneQi 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 1、SparkStreaming概述 1、SparkStreaming是什么? SparkStreaming用于处理流式数据 2、SparkStreaming应用场景: 实时领域 3、DStream: DStream是SparkStreaming的数据抽象 DStream流动的是RDD,每个RDD代 阅读全文
posted @ 2021-11-08 23:02 KaneQi 阅读(77) 评论(0) 推荐(0) 编辑