上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 29 下一页
摘要: 1. 遇到问题: 在clickhouse,我有一个web3_data表,大概36w条记录,以下查询的数据会变: select * from ( SELECT space_id, user_address, attr_name, attr_value FROM web3_data LIMIT 6550 阅读全文
posted @ 2023-09-13 20:09 若-飞 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 这个代码运行2亿条记录,发现内存使用一直增加,内存满了以后,直接被killed func (p *ClickHouseClient) CountAllTxTypees(startId int, endId int, SpaceStore SpaceInterface) (web3datas []We 阅读全文
posted @ 2023-09-12 22:31 若-飞 阅读(402) 评论(0) 推荐(0) 编辑
摘要: 需求: 1、在工作中,我们常常需要将外部 hive 或者 mysql、oracle 等数据源导入到clickhouse中,对于多种外部数据源,是否有通用的数据导入方案? 2、我们在clickhouse上维持一张查询主表,但外部数据源表是hive增量表,新增数据需要同步更新到clickhouse上,是 阅读全文
posted @ 2023-09-12 11:30 若-飞 阅读(576) 评论(0) 推荐(0) 编辑
摘要: 当使用 MySQL 进行查询时,可以使用 CASE 表达式来根据条件对结果进行分支处理。CASE 表达式在 SELECT 语句中非常有用,可以根据不同的条件返回不同的值。在本文中,我们将介绍如何使用 CASE 表达式进行条件分支查询。 假设我们有一个名为 transactions 的表,其中包含以下 阅读全文
posted @ 2023-09-12 11:26 若-飞 阅读(57) 评论(0) 推荐(0) 编辑
摘要: 1. 得到一个clickhouse连接: import ( "context" "fmt" "log" "github.com/ClickHouse/clickhouse-go/v2" "github.com/ClickHouse/clickhouse-go/v2/lib/driver" ) fun 阅读全文
posted @ 2023-09-11 17:29 若-飞 阅读(797) 评论(0) 推荐(0) 编辑
摘要: 1. mysql创建一个用于clickhouse的账号mysql_clickhouse并且授权 CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!'; GRANT ALL PRIVILEGES ON *.* TO ‘mysql 阅读全文
posted @ 2023-09-11 11:53 若-飞 阅读(468) 评论(0) 推荐(0) 编辑
摘要: 1. 官方文档: https://clickhouse.com/docs/en/install 2. docker安装server: sudo docker run -d -e CLICKHOUSE_DB=default -e CLICKHOUSE_USER=default -e CLICKHOUS 阅读全文
posted @ 2023-09-11 11:31 若-飞 阅读(298) 评论(0) 推荐(0) 编辑
摘要: 背景是查询一个有N亿条记录的mysql表 使用go多协程同时查询一个区间的不同数据代码: func txHashesWorker(id int, tasks <-chan Task, results chan<- int, wg *sync.WaitGroup) { defer wg.Done() 阅读全文
posted @ 2023-09-07 23:44 若-飞 阅读(21) 评论(0) 推荐(0) 编辑
摘要: insert or update使用事务和不使用事务的核心差异 这样一个语句,在go多协程情况下,采用事务和不采用事务出现的问题: INSERT INTO web3_data (space_id, user_address, attr_name, attr_value) VALUES (198, ' 阅读全文
posted @ 2023-09-06 23:26 若-飞 阅读(434) 评论(0) 推荐(0) 编辑
摘要: 当将 Go 程序编译为二进制文件并在服务器上运行时,可能会遇到配置文件路径不匹配的问题。在本篇博客中,我将介绍两种解决方法。 方法一:指定配置文件的绝对路径 在服务器上运行二进制文件时,通过命令行参数或环境变量传递配置文件的绝对路径,而不是依赖于相对路径。这样可以确保程序能够正确找到配置文件。 例如 阅读全文
posted @ 2023-09-06 23:12 若-飞 阅读(178) 评论(0) 推荐(0) 编辑
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 29 下一页