sql解析
摘要：1.概述 sql在很多地方都有应用，如关系型数据库，大数据等。本文主讲解要用代码实现sql的解析。 2.sql解析 首先通过sql语句的语法规则生成一个相互依赖的字句，如where子句，from子句，selelct子句。 第二步解析各个sql子句为sqlNode，sqlNode主要包含node类型和
阅读全文
posted @ 2021-05-19 20:06
05 2021 档案
oneid方法-图计算
摘要：背景，对于多源数据由于格式和字段不同，加上数据库的特性导致每个业务线里的记录的唯一id不同。 通过图算法，首先对于任意业务线里的数据，唯一id先构建一个图节点，然后将所有非空可以作为唯一值的字段（身份证号，手机号等）做一个图节点，然后将这些节点连接在一起。每个图节点创建时连接相同值的节点，如第一个业
阅读全文
posted @ 2021-05-18 19:54
kafka分布式存储
摘要：1.概述 之前提到过分布式存储，重点是要保持一致性，raft方案和paxos方案都是自己来完成这一切的，而kafka则主要依赖于zookeeper。 2.分布式存储的协调者 Controller，这个类的对象运行在一台机器上，首先通过zookeeper选出一台机器， 每一个broker都会在Cont
阅读全文
posted @ 2021-05-13 01:05
akka的简单demo
摘要：1.概述 akka是actor模型的实现，可自行实现actor和beheavor。 2.简单demo import akka.actor.typed.ActorRef; import akka.actor.typed.ActorSystem; import akka.actor.typed.Beha
阅读全文
posted @ 2021-05-12 00:20
分布式存储解决方案
摘要：1.概述 分布式存储核心问题是要解决读写一致性问题，同时保证高可用。paxos是通过以接收最新最多的提案为准的方式，raft也是一个分布式存储的解决方案当更简单易于理解。 2.paxos方案 首先有倡议者提出提案，即数据修改请求，当达到接受者节点后，会向倡议者发送此时尚无提案的响应，倡议者收到响应后
阅读全文
posted @ 2021-05-11 02:10
