2022年5月20日
大叔经验分享（140）OLAP引擎对比测试
摘要： 一 测试数据 SSB (Star Schema Benchmark) SSB SSB将TPC-H的雪花模式简化为了星型模式，将基准查询由TPC-H的复杂Ad-Hoc查询改为了结构更固定的OLAP查询 table comment lineorder 订单表 customer 用户表 supplier 阅读全文
posted @ 2022-05-20 18:09 匠人先生 阅读(429) 评论(0) 推荐(0) 编辑
大叔经验分享（139）doris和clickhouse对比
摘要： *** doris clickhouse 官网 http://doris.apache.org/ https://clickhouse.tech/ 版本 0.14.0 21.7.2.7 开源 是 是 开发语言 * java + c c 安装 源码编译 rpm包 定位 olap olap 架构 mpp 阅读全文
posted @ 2022-05-20 18:01 匠人先生 阅读(2020) 评论(0) 推荐(0) 编辑
大叔经验分享（138）kafka重置offset
摘要： 所有选项如下： 命令示例如下： bin/kafka-consumer-groups.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092,kafka_4:9092,kafka_5:9092 --group group_name -- 阅读全文
posted @ 2022-05-20 18:00 匠人先生 阅读(670) 评论(0) 推荐(0) 编辑
大叔经验分享（137）kafka开启压缩
摘要： kafka开启压缩后，可以极大的优化磁盘占用和网络传输开销，以及cpu占用和gc时间，开启压缩的参数为compression.type Specify the final compression type for a given topic. This configuration accepts t 阅读全文
posted @ 2022-05-20 17:52 匠人先生 阅读(1101) 评论(0) 推荐(0) 编辑
大叔经验分享（136）impala支持orc查询
摘要： impala从3.1版本开始支持orc格式查询，不过是experimental 开启方法，在cdh的impala配置中添加 --enable_orc_scanner=true 然后重启impala集群。 官方文档： https://docs.cloudera.com/documentation/en 阅读全文
posted @ 2022-05-20 17:18 匠人先生 阅读(467) 评论(0) 推荐(0) 编辑
大叔经验分享（135）hive开启ldap认证
摘要： hive-site.xml 1 接入ldap或ad域 <property> <name>hive.server2.authentication</name> <value>LDAP</value> </property> <property> <name>hive.server2.authentic 阅读全文
posted @ 2022-05-20 16:51 匠人先生 阅读(767) 评论(0) 推荐(0) 编辑
大叔问题定位分享（48）kafka部分topic出现消息丢失
摘要： 背景 有同学反馈kafka某个topic有消息丢失（消费比生产的要少），丢失率大概20% 排查 出现问题的topic的replication-factor为2，partition数量为5，该topic状态如下： 有一个topic处于Under Replicated状态，ISR只有1个，193节点被踢 阅读全文
posted @ 2022-05-20 16:17 匠人先生 阅读(2209) 评论(0) 推荐(0) 编辑