随笔分类 -  clickhouse

高性能分析数据库
摘要:最近发现一个问题,在一个53亿条的clickhouse数据库中,在已经按时间戳进行分区的情况下,这样的查询: select * FROM web3.bsc_logs as l left join web3.bsc_transactions_extra as ex on l.tx_hash = ex. 阅读全文
posted @ 2024-01-08 22:18 若-飞 阅读(231) 评论(3) 推荐(0) 编辑
摘要:有个clickhouse表,存储tx_hash字段: 有个语句统计tx_type: SELECT CASE tx_type WHEN 'created_nft' THEN 'created_nft_count' WHEN 'nft_transactions' THEN 'nft_transactio 阅读全文
posted @ 2024-01-06 23:25 若-飞 阅读(185) 评论(0) 推荐(0) 编辑
摘要:CREATE TABLE web3.tx_hashes ( `id` UInt64, `created_at` Nullable(DateTime), `updated_at` Nullable(DateTime), `deleted_at` Nullable(DateTime), `game_na 阅读全文
posted @ 2023-09-13 20:17 若-飞 阅读(125) 评论(0) 推荐(0) 编辑
摘要:1. 遇到问题: 在clickhouse,我有一个web3_data表,大概36w条记录,以下查询的数据会变: select * from ( SELECT space_id, user_address, attr_name, attr_value FROM web3_data LIMIT 6550 阅读全文
posted @ 2023-09-13 20:09 若-飞 阅读(334) 评论(0) 推荐(0) 编辑
摘要:这个代码运行2亿条记录,发现内存使用一直增加,内存满了以后,直接被killed func (p *ClickHouseClient) CountAllTxTypees(startId int, endId int, SpaceStore SpaceInterface) (web3datas []We 阅读全文
posted @ 2023-09-12 22:31 若-飞 阅读(513) 评论(0) 推荐(0) 编辑
摘要:需求: 1、在工作中,我们常常需要将外部 hive 或者 mysql、oracle 等数据源导入到clickhouse中,对于多种外部数据源,是否有通用的数据导入方案? 2、我们在clickhouse上维持一张查询主表,但外部数据源表是hive增量表,新增数据需要同步更新到clickhouse上,是 阅读全文
posted @ 2023-09-12 11:30 若-飞 阅读(757) 评论(0) 推荐(0) 编辑
摘要:1. 得到一个clickhouse连接: import ( "context" "fmt" "log" "github.com/ClickHouse/clickhouse-go/v2" "github.com/ClickHouse/clickhouse-go/v2/lib/driver" ) fun 阅读全文
posted @ 2023-09-11 17:29 若-飞 阅读(1124) 评论(0) 推荐(0) 编辑
摘要:1. mysql创建一个用于clickhouse的账号mysql_clickhouse并且授权 CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!'; GRANT ALL PRIVILEGES ON *.* TO ‘mysql 阅读全文
posted @ 2023-09-11 11:53 若-飞 阅读(590) 评论(0) 推荐(0) 编辑
摘要:1. 官方文档: https://clickhouse.com/docs/en/install 2. docker安装server: sudo docker run -d -e CLICKHOUSE_DB=default -e CLICKHOUSE_USER=default -e CLICKHOUS 阅读全文
posted @ 2023-09-11 11:31 若-飞 阅读(342) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示