摘要: 转载自原文地址 https://juejin.cn/post/6844903465181773831 一篇非常非常棒的关于redis分布式锁细节的思考和总结文章 【完整版】 网上有关Redis分布式锁的文章可谓多如牛毛了,不信的话你可以拿关键词“Redis 分布式锁”随便到哪个搜索引擎上去搜索一下就 阅读全文
posted @ 2024-04-28 11:32 sanmutongzi 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 使用apple m1/m2 芯片的系统 mvn build 项目时候会有很多问题mvn file 添加 <settings> ... <activeProfiles> <activeProfile> apple-silicon </activeProfile> ... </activeProfile 阅读全文
posted @ 2023-12-27 20:53 sanmutongzi 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 1 https://github.com/ClickHouse/ClickHouse/issues/4796 [Use of LowCardinality and/or INDEX to speed up query performance] 2 https://altinity.com/blog/ 阅读全文
posted @ 2022-03-17 11:29 sanmutongzi 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 注:本文转载自链接http://www.jackywoo.cn/coding-in-big-data-processing/ , 本文描述的这些非常底层的优化方式也正是ClickHouse社区宣称自己做的比其他竞品好的地方。 在大量数据处理的场景下,对于程序要求极致的性能,本文尝试总结针对目前硬件特 阅读全文
posted @ 2021-12-20 15:38 sanmutongzi 阅读(119) 评论(0) 推荐(0) 编辑
摘要: scala import kafka.utils._ class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner { private val random = new java.util.Rando 阅读全文
posted @ 2019-08-23 14:58 sanmutongzi 阅读(732) 评论(0) 推荐(0) 编辑
摘要: 转发请注明原创地址:https://www.cnblogs.com/dongxiao-yang/p/11358781.html 本文基于spark源码版本为2.4.3 在流式计算中通常会有状态计算的需求,即当前计算结果不仅依赖于目前收到数据还需要之前结果进行合并计算的场景,由于sparkstream 阅读全文
posted @ 2019-08-15 17:43 sanmutongzi 阅读(797) 评论(0) 推荐(0) 编辑
摘要: 转发请注明原创地址:https://www.cnblogs.com/dongxiao-yang/p/10602799.html 某日晚高峰忽然集群某个大流量业务收到lag报警,查看客户端日志发现reblance一直无法成功,日志如下 根据客户端日志显示consumer在尝试joingroup的过程中 阅读全文
posted @ 2019-03-27 12:28 sanmutongzi 阅读(2941) 评论(0) 推荐(0) 编辑
摘要: 1 {"error":"Instantiation of [simple type, class io.druid.indexing.kafka.supervisor.KafkaSupervisorTuningConfig] value failed: Failed to create direct 阅读全文
posted @ 2018-12-24 14:53 sanmutongzi 阅读(609) 评论(0) 推荐(0) 编辑
摘要: 本文从NUMA的介绍引出常见的NUMA使用中的陷阱,继而讨论对于NUMA系统的优化方法和一些值得关注的方向。 文章欢迎转载,但转载时请保留本段文字,并置于文章的顶部 作者:卢钧轶(cenalulu) 本文原文地址:http://cenalulu.github.io/linux/numa/ NUMA架 阅读全文
posted @ 2018-12-07 12:26 sanmutongzi 阅读(266) 评论(0) 推荐(0) 编辑
摘要: flink on yarn的情况下配置的keytab文件会根据每次yarn application 分配taskmanager的变化都是不一样的,在部分场景下用户代码也需要获得keytab文件在yarn上的本地路径,可以通过以下方式拿到文件地址。 阅读全文
posted @ 2018-11-20 11:00 sanmutongzi 阅读(2022) 评论(0) 推荐(0) 编辑