摘要:
1. 遇到问题: 在clickhouse,我有一个web3_data表,大概36w条记录,以下查询的数据会变: select * from ( SELECT space_id, user_address, attr_name, attr_value FROM web3_data LIMIT 6550 阅读全文
摘要:
这个代码运行2亿条记录,发现内存使用一直增加,内存满了以后,直接被killed func (p *ClickHouseClient) CountAllTxTypees(startId int, endId int, SpaceStore SpaceInterface) (web3datas []We 阅读全文
摘要:
需求: 1、在工作中,我们常常需要将外部 hive 或者 mysql、oracle 等数据源导入到clickhouse中,对于多种外部数据源,是否有通用的数据导入方案? 2、我们在clickhouse上维持一张查询主表,但外部数据源表是hive增量表,新增数据需要同步更新到clickhouse上,是 阅读全文
摘要:
当使用 MySQL 进行查询时,可以使用 CASE 表达式来根据条件对结果进行分支处理。CASE 表达式在 SELECT 语句中非常有用,可以根据不同的条件返回不同的值。在本文中,我们将介绍如何使用 CASE 表达式进行条件分支查询。 假设我们有一个名为 transactions 的表,其中包含以下 阅读全文
摘要:
1. 得到一个clickhouse连接: import ( "context" "fmt" "log" "github.com/ClickHouse/clickhouse-go/v2" "github.com/ClickHouse/clickhouse-go/v2/lib/driver" ) fun 阅读全文
摘要:
1. mysql创建一个用于clickhouse的账号mysql_clickhouse并且授权 CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!'; GRANT ALL PRIVILEGES ON *.* TO ‘mysql 阅读全文
摘要:
1. 官方文档: https://clickhouse.com/docs/en/install 2. docker安装server: sudo docker run -d -e CLICKHOUSE_DB=default -e CLICKHOUSE_USER=default -e CLICKHOUS 阅读全文
摘要:
背景是查询一个有N亿条记录的mysql表 使用go多协程同时查询一个区间的不同数据代码: func txHashesWorker(id int, tasks <-chan Task, results chan<- int, wg *sync.WaitGroup) { defer wg.Done() 阅读全文
摘要:
insert or update使用事务和不使用事务的核心差异 这样一个语句,在go多协程情况下,采用事务和不采用事务出现的问题: INSERT INTO web3_data (space_id, user_address, attr_name, attr_value) VALUES (198, ' 阅读全文
摘要:
当将 Go 程序编译为二进制文件并在服务器上运行时,可能会遇到配置文件路径不匹配的问题。在本篇博客中,我将介绍两种解决方法。 方法一:指定配置文件的绝对路径 在服务器上运行二进制文件时,通过命令行参数或环境变量传递配置文件的绝对路径,而不是依赖于相对路径。这样可以确保程序能够正确找到配置文件。 例如 阅读全文