摘要: go中如何编译.proto文件得到.pb.go & .pb.gw.go & .swagger.json 文件 阅读全文
posted @ 2021-06-16 09:22 Yisany 阅读(1318) 评论(0) 推荐(0) 编辑
摘要: proto编译引用外部包问题 在test.proto文件中引用了一个外部包: import "google/api/annotations.proto"; 当使用命令编译的时候提示找不到包: # protoc --go_out=plugins=grpc:. ./test.proto google/a 阅读全文
posted @ 2021-06-11 16:05 Yisany 阅读(12141) 评论(1) 推荐(1) 编辑
摘要: Kafka 数据重复消费,数据丢失,数据乱序 阅读全文
posted @ 2021-05-06 18:22 Yisany 阅读(1966) 评论(0) 推荐(1) 编辑
摘要: Clickhouse - Replication机制 1. Replication引擎族 Replication仅对于MergeTree引擎族提供支持, 两者是正交的: ReplicatedMergeTree ReplicatedSummingMergeTree ReplicatedReplacin 阅读全文
posted @ 2021-03-29 14:09 Yisany 阅读(1186) 评论(0) 推荐(0) 编辑
摘要: Clickhouse写入问题汇总 Zookeeper相关 当clickhouse在建表时使用了Replicated引擎族时, 会对zookeeper有非常重的依赖, 这时候就要注意zookeeper集群的一些优化项. clickhouse集群两分片两副本(4C8G),实测每分钟80W数据量的情况下, 阅读全文
posted @ 2021-01-14 10:13 Yisany 阅读(10517) 评论(0) 推荐(0) 编辑
摘要: Golang 包管理机制 1. 历史 在go1.11之前, 并没有官方的包管理机制(Godep算个半官方), 主流的包管理机制有: GoVendor Glide Godep 在go1.11之后, 官方推出了GoModule作为正统的包管理机制, 但在1.13版本之前默认没有开启, 需要使用GO111 阅读全文
posted @ 2020-12-02 13:57 Yisany 阅读(757) 评论(0) 推荐(0) 编辑
摘要: Go1.14版本vendor和gomodule冲突问题 go1.14版本使用go mod tidy构建依赖时会出现问题(见链接), 这个问题在go1.12版本是不会出现的. https://github.com/restic/rest-server/issues/102 这是由于1.14版本官方加入 阅读全文
posted @ 2020-11-11 19:20 Yisany 阅读(1839) 评论(0) 推荐(0) 编辑
摘要: Clickhouse - MergeTree原理 MergeTree引擎以及隶属于MergeTree引擎族的所有引擎是Clickhouse表引擎中最重要, 最强大的引擎. MergeTree引擎族中的引擎被设计用于将大量数据写入表中. 这些数据被快速的写入每个表的每个part, 然后在Clickho 阅读全文
posted @ 2020-10-28 10:03 Yisany 阅读(1777) 评论(0) 推荐(0) 编辑
摘要: Docker 日志 Docker的日志可以分为两类: stdout标准输出日志 stdout就是标准输出里面的日志, 比如程序运行时输出在控制台的内容就会写入标准输出 原理就是当在启动进程的时候,进程之间有一个父子关系,父进程可以拿到子进程的标准输出 文件日志 直接写入磁盘的日志, 例如java使用 阅读全文
posted @ 2020-09-24 17:58 Yisany 阅读(1619) 评论(0) 推荐(0) 编辑
摘要: CK 分布式表和本地表 ck的表分为两种: 分布式表 一个逻辑上的表, 可以理解为数据库中的视图, 一般查询都查询分布式表. 分布式表引擎会将我们的查询请求路由本地表进行查询, 然后进行汇总最终返回给用户. 本地表: 实际存储数据的表 1. 不写分布式表的原因 分布式表接收到数据后会将数据拆分成多个 阅读全文
posted @ 2020-08-18 15:57 Yisany 阅读(25738) 评论(0) 推荐(2) 编辑