摘要：
元数据设计 如上图，Doris 的元数据主要存储4类数据： 用户数据信息。包括数据库、表的 Schema、分片信息等。 各类作业信息。如导入作业，Clone 作业、SchemaChange 作业等。 用户及权限信息 集群及节点信息 元数据目录 元数据目录通过 FE 的配置项 meta_dir 指定。 阅读全文
摘要：
一、系统架构 Doris是一个MPP的OLAP系统，主要整合了Google Mesa（数据模型），Apache Impala（MPP Query Engine)和Apache ORCFile (存储格式，编码和压缩) 的技术。 既可以满足OLAP查询,也可以满足Adhoc查询需求。 Frontend 阅读全文
摘要：
系统调研 用户视角的系统调研（只需使用） 平台视角的系统调研（需要进行系统的维护和二次开发） 平台侧系统调研 平台侧系统调研的原则 系统是动态发展的，而且许多系统开发迭代速度很快，所以基于某个固定版本去测试意义不是很大 测试环境的规模和测试场景有限，我们不可能测试出大规模集群下的性能瓶颈和扩展性问题 阅读全文
摘要：
Apache Atlas 架构设计及源代码分析, 以Hive建库为例,分析元数据采集的主体流程 阅读全文
摘要：
问题描述 我们有个系统设计的时候针对Hive创建表、删除表, 需要更新ES中的一个状态,标记是否删除,在几乎同时执行两条下面的语句的时候,发现在ES 中出现表即使被创建了还是无法被查询到的情况,针对该问题记录下排查分析过程. drop table if exists tmp.test_create_ 阅读全文
摘要：
介绍Docker概念、常用命令及将SpringBoot项目部署至Docker 阅读全文
摘要：
Antlr4 的两种AST遍历方式：Visitor方式 和 Listener方式。 Antlr4规则文法: 注释：和Java的注释完全一致，也可参考C的注释，只是增加了JavaDoc类型的注释； 标志符：参考Java或者C的标志符命名规范，针对Lexer 部分的 Token 名的定义，采用全大写字母 阅读全文
摘要：
简介 Spark SQL、Presto --> Antlr4 SQL 解析器 Flink SQL --> Apache Calcite(通过JavaCC 实现) Spark SQL如何进行语法解析: Spark SQL 最终是转换为RDD调用代码, 然后被Spark Core 执行 Antlr4起的 阅读全文
摘要：
Hudi特性 数据湖处理非结构化数据、日志数据、结构化数据 支持较快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID语义保证,多版本保证 并具有回滚功能 savepoint 用户数据恢复的保存点 支持多种分析引擎 spark、hive、pr 阅读全文
摘要：
今天跟测试同学学习了下用Postman免登录测试后端接口,测试同学除了会对我们系统前端测试外，一些后端接口涉及危险操作也会使用Postman 对接口进行测试，这个时候就需要解决一个接口免登录的问题，他们使用的工具就是Postman 和Postman Interceptor。 我这边安装的一个是 Po 阅读全文