摘要:
https://zhuanlan.zhihu.com/p/72934069 阅读全文
摘要:
Flink程序的执行过程 no-desc 说明 详情 1-env 获取flink的执行环境 批处理:ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); 流处理:StreamExecutionEnviro 阅读全文
摘要:
本地环境 Java > 1.8、mac os 参考 https://www.cnblogs.com/ldsweely/p/11980890.html 启动 bin/start-cluster.sh 访问界面 http://127.0.0.1:8081/#/overview 示例:词语统计 packa 阅读全文
摘要:
是什么 Apache Flink是Apache基金会开发的开源流处理框架,其核心是由Java和Scala编写的分布式数据流引擎。对无界和有界数据进行有状态计算。 Flink 是有状态的和容错的,可以在维护一次应用程序状态的同时无缝地从故障中恢复;它支持大规模计算能力,能够在数千个节点上并发运行;它具 阅读全文
摘要:
什么是事务? 老生常谈:事务是逻辑上的一组操作,要么都执行,要么都不执行 经典实例:转账给你,我减少100,你增加100,不能因为系统故障导致,我钱转出了,而你没收到 事务的四大特性 A:原子性,最小执行单位,要么都执行,要么都不执行 C:一致性,? I:隔离性,并发访问数据库是,两个事务是独立的, 阅读全文
摘要:
缘起 我有一个图片存取服务,为了快速获取图片,我架起了3台缓存服务器,用简单的Hash映射决定图片存储在哪台缓存上。比如: f(x) % 3 = 0 存储在s0上 f(x) % 3 = 1 存储在s1上 f(x) % 3 = 2存储在s2上 某天,缓存负载过高,需要扩容1台,缓存数量由3变为4,那么 阅读全文
摘要:
示例代码 import pymysql class DataMigrate: def __init__(self, env): self.num = 50 self.ENV = env # From self.db_from = self.connect_jingyi(1) self.cursor_ 阅读全文
摘要:
什么是视图 一组查询指令构成的结果集,是一个虚拟存在的表 视图和表的关系? 表是实体结构,需要物理空间;视图是虚拟结构,不需要物理空间 表可以有索引,视图不能添加索引 表的改变立即提现在视图上 为什么需要视图 简化SQL,重复利用SQL, 尤其是一些复杂查询时更能提现真香定律 安全。只暴露表的部分字 阅读全文
摘要:
update select 从查询结果中更新数据 示例场景 两个表 ordrs, sum_orders, sum_orders 中的count是 orders中相同project_id的count之和;cost同理 一条语句直接更新sum_orders中的count & cost #orders # 阅读全文
摘要:
各种叫法 是否ES、ElasticSearch、ELK... 这一套发家于ElasticSearch, 后来加入了Logstash + Kibana(简称ELK) 后来又加入了Beats,为了避免以后有更多部分的加入引起起名尴尬,改叫Elastic Stack Elastic Stack=Elast 阅读全文