会员
T恤
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Aitozi's的博客
博客园
首页
新随笔
联系
订阅
管理
随笔 - 53
文章 - 0
评论 - 20
阅读 -
29612
2025年3月15日
Paimon merge into 实现原理
摘要: 语法 MERGE INTO target USING source ON source.a = target.a WHEN MATCHED THEN UPDATE SET a = source.a, b = source.b, c = source.c WHEN NOT MATCHED THEN I
阅读全文
posted @ 2025-03-15 23:30 Aitozi
阅读(122)
评论(0)
推荐(0)
2024年11月18日
Paimon Deletion Vector
摘要: deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会比较适合. 避免 M
阅读全文
posted @ 2024-11-18 08:23 Aitozi
阅读(268)
评论(0)
推荐(1)
2024年10月29日
Paimon lookup store 实现
摘要: Lookup Store 主要用于 Paimon 中的 Lookup Compaction 以及 Lookup join 的场景. 会将远程的列存文件在本地转化为 KV 查找的格式. Hash https://github.com/linkedin/PalDB Sort https://github
阅读全文
posted @ 2024-10-29 23:31 Aitozi
阅读(295)
评论(0)
推荐(1)
2024年5月12日
Flink Batch Hash Aggregate
摘要: 数据类型要求 BatchPhysicalHashAggRule match 条件会判断 isAggBufferFixedLength(agg) 为什么要求 aggCall 的类型是 Fixed Length 的才可以使用 HashAggregate ? 因为在 HashAggregate 中, 依赖
阅读全文
posted @ 2024-05-12 14:54 Aitozi
阅读(170)
评论(0)
推荐(0)
2023年12月17日
理解 Paimon changelog producer
摘要: 介绍 目的 Chaneglog producer 的主要目的是为了在 Paimon 表上产生流读的 changelog, 所以如果只是批读的表是可以不用设置 Chaneglog producer 的. 一般对于数据库如 MySQL 来说, 当执行的语句涉及数据的修改例如插入、更新、删除时,MySQL
阅读全文
posted @ 2023-12-17 14:01 Aitozi
阅读(2333)
评论(0)
推荐(2)
2023年8月12日
笔记工具
摘要: - 这两周从听 #纵横四海 播客 #刻意练习 和笔记的力量开始逐渐关注到双链笔记, 其实最早在听ByteTalk的时候就有听到一期嘉宾介绍到一款双链笔记 #logseq . 其实给我印象最深的是刻意练习中关于对学习的讲解, 其中提到刻意练习最重要的几部分: chunk 和 link. 而双链笔记 最
阅读全文
posted @ 2023-08-12 19:40 Aitozi
阅读(187)
评论(0)
推荐(0)
2023年8月5日
FlinkSQL类型系统
摘要: 类型有什么作用, 类型可以提供编译期检查, 避免到运行期才报错. # 类型 首先Flink中自己定义了一套类型, 有`LogicalType`和`DataType`两个表示 ## LogicalType `LogicalType`表示的逻辑类型, 并不涉及类型的物理表示, 会包含nullable属性
阅读全文
posted @ 2023-08-05 00:21 Aitozi
阅读(985)
评论(0)
推荐(1)
2023年7月24日
二叉堆原理与实现
摘要: # 二叉堆 二叉堆具有两个性质, 结构性和排序性. ## 结构性质 堆是一棵除了底层以外都被完全填满的二叉树, 叫做完全二叉树, 而最底层从左到右都是满的, 右侧允许有空缺 
评论(0)
推荐(1)
2023年7月23日
SkipList原理与实现
摘要: # 机制 链表中查询的效率的复杂度是O(n), 有没有办法提升这个查询复杂度呢? 最简单的想法就是在原始的链表上构建多层索引. 
评论(0)
推荐(1)
2023年7月15日
Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
摘要: 在Delta Lake官网上提到的一篇新一代湖仓架构的论文. 这篇论文由Databricks团队2021年发表于CIDR会议. 这个会议是对sigmod和vldb会议的补充. 可以看到这篇论文和前一篇Delta Lake: High-Performance ACID Table Storage ov
阅读全文
posted @ 2023-07-15 21:40 Aitozi
阅读(298)
评论(0)
推荐(0)
下一页
公告
昵称:
Aitozi
园龄:
10年4个月
粉丝:
6
关注:
6
+加关注
<
2025年4月
>
日
一
二
三
四
五
六
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
1
2
3
4
5
6
7
8
9
10
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
源码分析
(8)
data-lake
(7)
paimon
(6)
c++
(5)
scala
(3)
shell
(2)
rust
(2)
git
(2)
calcite
(2)
年终总结
(2)
更多
合集
程序的链接装载和库(4)
Data Lake(10)
数据结构与算法(2)
Flink(5)
随笔分类
Linux编程(4)
编程工具(6)
编程语言(20)
并发编程(1)
大数据(34)
读书笔记(8)
旅游记录(1)
论文学习(5)
日常记录(2)
数据结构与算法(2)
云原生(1)
随笔档案
2025年3月(1)
2024年11月(1)
2024年10月(1)
2024年5月(1)
2023年12月(1)
2023年8月(2)
2023年7月(4)
2023年6月(4)
2023年5月(4)
2023年3月(2)
2023年2月(4)
2023年1月(1)
2022年10月(1)
2022年9月(5)
2022年8月(3)
2022年5月(2)
2022年3月(2)
2022年2月(5)
2022年1月(5)
2021年12月(4)
更多
Flink
LittleMagic
官方博客
Go dev
技术网站
The Clean Code Blog
Hackers and painters
https://preshing.com/
http://coding-geek.com/
https://bindog.github.io/
yoonper
DDIA作者
友链
五月的仓颉
宏江
林意群
若飞
张茄子
褚霸
蒙仔
Small, but beautiful
阅读排行榜
1. 理解 Paimon changelog producer(2333)
2. Paimon读取流程(2117)
3. 深入理解Akka Actor模型(2093)
4. Paimon Compaction实现(1990)
5. Paimon的写入流程(1943)
评论排行榜
1. Minikube使用文档(6)
2. 深入理解Akka Actor模型(6)
3. Java泛型类型擦除问题 (3)
4. Paimon Compaction实现(2)
5. 使用jmh框架进行benchmark测试(2)
推荐排行榜
1. 理解 Paimon changelog producer(2)
2. rust 中 str 与 String; &str &String(2)
3. Paimon Deletion Vector(1)
4. Paimon lookup store 实现(1)
5. FlinkSQL类型系统(1)
最新评论
1. Re:Paimon Compaction实现
@码以致用 yes...
--Aitozi
2. Re:Paimon Compaction实现
写得很好,想补充下,这块是facebook原文里的例子吧,其实这里有个前提是options.level0_file_num_compaction_trigger = 5,不然会看着很困惑。 1 1 1...
--码以致用
3. Re:深入理解Akka Actor模型
@youth7 mailbox 的queue是线程安全的,这是加锁实现的...
--Java小瓜皮
4. Re:深入理解Akka Actor模型
@血染河山 投递确实是原子的。但这不是天生而是后天通过某些技术实现。我的疑问就是它是通过什么手段实现了原子投递。 除非消息投递对应的底层汇编代码就是原子的,否则它必然要借助某些技术达成宏观上的原子。...
--youth7
5. Re:深入理解Akka Actor模型
@youth7 这个我理解投递消息应该是原子的, 就类似于往blocking queue中发布消息 要么是成功, 要么是不成功...
--血染河山
点击右上角即可分享