背景介绍

ClkLog 上线以来,我们不断吸纳用户需求,提升产品的支持能力。今年下半年,我们遇到了日活跃用户数达到百万级别的客户。为了给 ClkLog 用户提供可靠的技术建议和解决方案,同时也为了节省成本,在Clickhouse官方支持下,我们在阿里云上对 ClickHouse 社区版、企业版进行了详细测试和成本分析。

本次测试主要目的是评估 ClkLog 在不同日活跃用户量级(一万、十万、百万)下,使用阿里云 ClickHouse 作为埋点系统数据库的各项处理能力,特别是针对百万级日活跃用户的性能表现。

大家可以根据本次测试的结果,结合自己应用的实际日活跃用户数量、成本预算和性能要求等条件,选择合适的服务器硬件配置和部署策略。

 

 

测试内容

ClkLog用户行为分析系统主要使用了23个统计脚本对原始采集数据进行多维计算,以此获得各维度上的统计报表,所以本次测试是测试日活(1/10/100万)的日志数据存储、数据库表存储的容量、统计数据更新时间延迟(依次计算23个统计脚本的总耗时) 和前端接口的性能。

测试方法

硬件以4Core CPU8G内存为起点,日活以1万起点,分别测试1/10/100万,在阿里云服务器上对ClkLog日活数据的Clickhouse社区自建版和Clickhouse企业版在单机和集群模式下进行螺旋上升式测试。

数据准备

本次测试按照每人每天100条日志来估算日志量,并以1天的日志模板复制出1月、1年的数据。

我们准备各种日活情况下1天的日志数据据,导入clickhouselog_analysis(原始日志表),log_event(事件表)log_user(用户表)。其中原始日志包含100个不同页面,1000个不同设备型号。

测试场景

在各种日活情况下,测试以下内容:

  • 日志文件容量、数据库表容量。
  • 后端统计数据更新时间延迟,涉及浏览量、访客、设备、页面、地域、用户画像等中间统计结果的23个统计脚本的执行总耗时。
  • 前端接口在一天、一周、一个月、一年等时间跨度的耗时。

测试结果

1Clickhouse社区版单机 

  

2Clickhouse社区版集群(2个节点)

 

3Clickhouse企业版集群(2个节点), 100万日活(人均100条日志)

汇总分析

11/10/100万日活数据,按每日人均100条日志采集,采集日志文件在1天、1个月、1年下的占用的空间存储总量如下图所示:

 

21/10/100万日活数据,按每日人均100条采集日志日库,数据库文件在1天、1个月、1年下的相关表的记录总数核各个表的占用的空间总量如下图所示:

323个统计脚本总耗时(单位:毫秒)

 

*说明:我们只在ClickHouse企业版集群下做了100万日活的测试。

4)集群版统计脚本总耗时对比

 

 

测试结论

根据上述测试结果可得出以下结论:

1.Clickhouse社区版,相同服务器配置,2个节点集群模式比单机模式下,统计脚本总耗时减少80%以上。

2.Clickhouse企业版集群在最低可选配置416GB无弹性扩容的2个节点上,100万的测试结果已近似社区版2节点每节点1632GB内存的结果。

3.Clickhouse企业版集群单节点起步4核可弹升至8核的2个节点上,100万的测试结果对比社区版2节点每节点1632GB内存,效率可提升30%

4.企业版集群测试,随着最大可弹升CCU配置的提升,查询效率可继续提升。

5.成本测算:本次测试Clickhouse社区版使用ecs.u1-c1m2.4xlarge机型,存储选择ESSD 20GB PL0,双节点加存储(3T)包月成本为:1348 * 2(计算) +1588(存储) = 4280元。而企业版选择8-16CCU,预付资源包成本为:16*184.6*0.7+3*1024*0.12=2400 元,轻松节省40%+成本!

*说明:184.6为企业本每CCU预付单价每月,实际CPU使用在min8)和max16)之间波动,0.7为一般客户弹性系数;0.12为对象存储企业版每GB预付单价每月)

 

希望本次测试结果能为有需要的伙伴们提供有价值的信息。如果您有任何关于性能或功能方面的问题,欢迎随时联系我们。】

 


 

 

posted @ 2024-11-29 14:57 ClkLog 阅读(39) 评论(0) 推荐(0) 编辑
摘要: ClkLog里程碑:荣获2024上海开源技术应用创新竞赛三等奖 2024年10月,ClkLog团队参加了由上海计算机软件技术开发中心、上海开源信息技术协会联合承办的2024上海数智融合“智慧工匠”选树、“领军先锋”评选活动——开源技术应用创新竞赛。我们不仅成功晋级决赛,还荣获了三等奖!这一成就不仅是对ClkLog产品的认可,更是对团队努力的肯定。 阅读全文
posted @ 2025-02-27 14:15 ClkLog 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 互联网运营为何必须做好用户行为数据分析 近年来互联网运营已经成为大多数企业不可或缺的一部分。随着互联网技术的不断发展和数字化转型的推进,越来越多的企业都在加速向互联网运营转型,而在这一过程当中,分析用户行为数据是至关重要的。接下来,我们就来探讨一下其中的原因。 阅读全文
posted @ 2025-02-14 15:41 ClkLog 阅读(18) 评论(0) 推荐(0) 编辑
摘要: ClKLog支持手机端查询统计数据啦! 1月正值年终汇报之际,随时查询数据成了大家的“刚需” ClKLog的付费版中提供了兼容移动端的h5展示界面,简单来说,手机浏览器直接访fangwe问统计地址就能直接查询主要的统计数据。 希望这个小小的功能能给大家带来一点点便利,尤其是应对boss们的突击拷问,能快速、便捷地展示工作成果。 【展示示例 阅读全文
posted @ 2025-01-20 10:59 ClkLog 阅读(12) 评论(0) 推荐(0) 编辑
摘要: ClkLog常见问题-指标定义与统计逻辑Sec.1 用户行为分析指标项是衡量产品和运营管理的关键因素,它们可以帮助企业深入了解用户需求、行为模式、产品表现等多个方面。 比如页面停留时间、平均停留时长可以分析用户的需求和兴趣;跳出率、留存率可以查询用户的体验情况;事件触发次数、转化率等可以评估业务流程是否顺畅或者营销策略是否成功。 这篇我们将完整介绍C 阅读全文
posted @ 2025-01-13 15:12 ClkLog 阅读(44) 评论(0) 推荐(0) 编辑
摘要: ClkLog集成指南 为了让大家能更顺利地完成ClkLog的各项数据集成,我们总结了几项常见问题并做了详细的说明。 包括有:会话、浏览页面事件、用户集成、自定义事件等。 阅读全文
posted @ 2024-12-23 14:14 ClkLog 阅读(16) 评论(0) 推荐(0) 编辑
摘要: Demo发布 | ClkLog成功集成Unity3D 前言 在Clklog完成 React Native 和 uni-app 集成 Demo 后,一个游戏行业新客户提出了使用 Unity3D 开发的集成问题。对此,我们与客户分别进行了测试。 客户使用神策Andriod原生SDK在Android 端暴露接口给 Unity3D的方式,验证了使用ClkLog 阅读全文
posted @ 2024-12-06 17:12 ClkLog 阅读(12) 评论(0) 推荐(0) 编辑
摘要: Demo发布- ClkLog客户端集成 uni-app 前言 在上一期推文中[Demo发布- ClkLog客户端集成-React Native],我们与大家分享了 React Native 的集成 demo。本期,我们将继续介绍 ClkLog 集成 uni-app 的 demo。 uni-app 允许开发者编写一套代码,然后可以编译到 iOS、Andro 阅读全文
posted @ 2024-11-29 17:28 ClkLog 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 前言 ClkLog是一款支持开源和商业付费的用户行为分析软件系统,通过采集客户端行为日志数据,在开源的OLAP数据库上进行模型分析。常见的客户端有Web JS、IOS、Andriod 、小程序等,以及react-native 、uni-app等。Clklog方案选用了\神策提供的开源SDK来进行数据 阅读全文
posted @ 2024-11-25 11:19 ClkLog 阅读(11) 评论(0) 推荐(0) 编辑
摘要: ClkLog企业版(CDP)预售开启,更有鸿蒙SDK前来助力 我们在四季度憋出大招,推出了全新的【用户画像系列功能】与【HarmonyOS SDK】。 阅读全文
posted @ 2024-11-01 18:32 ClkLog 阅读(27) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示