黑水滴

摘要： 一、系统设计的一些原则海恩法则 事故的发生是量积累的结果再好的技术、在完美的规章，在实际操作层面也无法取代人自身的素质和责任心 墨菲定律 任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事总会出错如果你担心某种情况发生，那么它更有可能发生 二、软件架构中的高可用设计 2.1 阅读全文

摘要： 一、clickhouse 为什么如此快 1）优秀的代码，对性能的极致追求 clickhouse 是 CPP 编写的，代码中大量使用了 CPP 最新的特性来对查询进行加速。 2）优秀的执行引擎以及存储引擎 clickhouse 是基于列式存储的，使用了向量化的执行引擎，利用 SIMD 指令进行处理加速 阅读全文

摘要： 文档地址：https://mp.weixin.qq.com/s/3fMZN_LidCi5fiD16nNWWA 阅读全文

摘要： 一、常用包安装记录1、分析exl用的pandas pip install xlrd==1.2.0 pip3 install pandas 阅读全文

摘要： 一、简介 因hive表删除后，hdfs文件会先放入回收站，定期清理回收站。在回收之前可以进行清理数据 二、恢复步骤 2.1 看表存储是否损坏select type from dw.ods_test1 group by type 2.2 查看表hdfs文件存储位置 show create table 阅读全文

摘要： 一、概念 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。 一个agent内部有三个组件： Source：采集源，用于跟数据源对接，以获取数据 Channel：agent内部的 阅读全文

摘要： 一、简介 先说下CreateStatement 和 PrepareStatement 这俩到底是干啥的吧。 作用：其实这俩干的活儿都一样，就是创建了一个对象然后去通过对象调用executeQuery方法来执行sql语句。 区别：其实就是Statement和PrepareStatement的区别，最明 阅读全文

摘要： 一、类调用 简介：calcite可以连接各数据源，做查询。可以收口查询权限，查询多引擎需求 二、 获取Connection发送的请求 请求介绍文档：https://calcite.apache.org/avatica/docs/json_reference.html#closeconnectionr 阅读全文

摘要： 一、git项目上传后项目文件太大，git filter-branch手动清理 最近发现一个项目git目录已经达到200MB，严重影响了clone代码。操作之前请全量备份代码，操作失误可恢复 二、测试项目存储主键增大流程 2.1、建立远程仓库为了模拟团队协作，需要一个远程仓库，可以选择GitHub或码 阅读全文

摘要： 简介：HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助 一、EXPLAIN 参数介绍 语法 : EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECT 阅读全文