随笔分类 - clickhouse
高性能分析数据库
摘要:最近发现一个问题,在一个53亿条的clickhouse数据库中,在已经按时间戳进行分区的情况下,这样的查询: select * FROM web3.bsc_logs as l left join web3.bsc_transactions_extra as ex on l.tx_hash = ex.
阅读全文
摘要:有个clickhouse表,存储tx_hash字段: 有个语句统计tx_type: SELECT CASE tx_type WHEN 'created_nft' THEN 'created_nft_count' WHEN 'nft_transactions' THEN 'nft_transactio
阅读全文
摘要:CREATE TABLE web3.tx_hashes ( `id` UInt64, `created_at` Nullable(DateTime), `updated_at` Nullable(DateTime), `deleted_at` Nullable(DateTime), `game_na
阅读全文
摘要:1. 遇到问题: 在clickhouse,我有一个web3_data表,大概36w条记录,以下查询的数据会变: select * from ( SELECT space_id, user_address, attr_name, attr_value FROM web3_data LIMIT 6550
阅读全文
摘要:这个代码运行2亿条记录,发现内存使用一直增加,内存满了以后,直接被killed func (p *ClickHouseClient) CountAllTxTypees(startId int, endId int, SpaceStore SpaceInterface) (web3datas []We
阅读全文
摘要:需求: 1、在工作中,我们常常需要将外部 hive 或者 mysql、oracle 等数据源导入到clickhouse中,对于多种外部数据源,是否有通用的数据导入方案? 2、我们在clickhouse上维持一张查询主表,但外部数据源表是hive增量表,新增数据需要同步更新到clickhouse上,是
阅读全文
摘要:1. 得到一个clickhouse连接: import ( "context" "fmt" "log" "github.com/ClickHouse/clickhouse-go/v2" "github.com/ClickHouse/clickhouse-go/v2/lib/driver" ) fun
阅读全文
摘要:1. mysql创建一个用于clickhouse的账号mysql_clickhouse并且授权 CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'Password123!'; GRANT ALL PRIVILEGES ON *.* TO ‘mysql
阅读全文
摘要:1. 官方文档: https://clickhouse.com/docs/en/install 2. docker安装server: sudo docker run -d -e CLICKHOUSE_DB=default -e CLICKHOUSE_USER=default -e CLICKHOUS
阅读全文