使用clickhouse和mysql查询时间对比
业务场景,对于数据量过大的数据统计,跑脚本会很吃力
先建立一个clickhouse的mysql引擎表关联本地mysql数据表,以下这个表会自动同步mysql主表数据
CREATE TABLE test_table (
id UInt32,
message String,
content String,
remark String,
order_id String,
user_id UInt32,
recharge_amount UInt32,
bonus Decimal(10,2),
create_time Datetime,
update_time Datetime
)
ENGINE = MySQL('127.0.0.1:3306','you_database','you_table','you_user','you_password');
再在clickhouse建立一个mergetree引擎数据表:
CREATE TABLE my_test_table (
id UInt32,
message String,
content String,
remark String,
order_id String,
user_id UInt32,
recharge_amount UInt32,
bonus Decimal(10,2),
create_time Datetime,
update_time Datetime,
PRIMARY KEY (id)
)
ENGINE = MergeTree()
ORDER BY (id,create_time)
SETTINGS index_granularity = 8192;
将test_table 数据插入到my_test_table :
INSERT INTO my_test_table SELECT * FROM test_table;
或者使用mysql数据源插件
INSERT INTO my_test_table SELECT * FROM mysql('127.0.0.1:3306','you_database','you_table','you_user','you_password');
如图是mysql执行,需要耗时22s
select sum(recharge_amount) from test_table;
如图是clickhouse执行,耗时75ms,连一秒都不到:
对比下来,都知道用什么了吧
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
2020-06-10 php文件在线加密工具