08 2021 档案
摘要：什么是账户？ 外部拥有账户 vs 合约账户 以太坊中有两种账户 外部拥有账户(EOA) 合约账户 这个区别在即将到来的大都会升级中将会被抽象化。 外部拥有账户 一个外部拥有账户具有一下特性： 有一个以太币余额 可以发送交易（以太币转账或者激活合约代码） 通过私钥控制 没有相关联的代码 合约账户 一个
阅读全文
摘要：前言 随着业务的快速发展我们日常遇到的系统性能压力问题也逐渐出现，甚至在部分场合会遇到一些突发的营销活动，会导致系统性能突然暴涨，可能导致我们系统的瘫痪。最近几年随着电商的各种促销活动，有一个词也渐渐进入我们眼帘－－“全链路压测”。全链路压测被众多互联网公司的程序员定义为核武器，传统性能测试更多的是
阅读全文
摘要：什么是全链路压测? 基于实际的生产业务场景、系统环境，模拟海量的用户请求和数据对整个业务链进行压力测试，并持续调优的过程 全链路压测解决什么问题? 针对业务场景越发复杂化、海量数据冲击下整个业务系统链的可用性、服务能力的瓶颈，让技术更好的服务业务，创造更多的价值 进行到 (业务流量预估阶段)、(系统
阅读全文
摘要：ClickHouse作为OLAP分析引擎已经被广泛使用，数据的导入导出是用户面临的第一个问题。由于ClickHouse本身无法很好地支持单条大批量的写入，因此在实时同步数据方面需要借助其他服务协助。本文给出一种结合Canal+Kafka的方案，并且给出在多个MySQL实例分库分表的场景下，如何将多张
阅读全文
摘要：进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。 2010年，James Dixon提出数据湖（Data Lake）的概念。 2011年Da
阅读全文
摘要：扩容：增加机器，例如原来三台服务器的kafka集群增加两台机器成为有五台机器的kafka集群，跟搭建差不多 分区重新分配：在原来机器上的主题分区不会自动均衡到新的机器，需要使用分区重新分配工具来均衡均衡 重新分配官方文档地址：点击打开链接 翻译官方文档中文地址：点击打开链接 上面两个链接中的文档描述
阅读全文
摘要：在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）
阅读全文
摘要：设置消费者properties的两个参数 consumer.group.id properties.setProperty("auto.offset.reset", "earliest”) // latest 注意： 只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开
阅读全文
