kafka消费组消费者分区策略
摘要:转载:https://www.cnblogs.com/lanston/p/14219473.html 消费组和消费者是kafka中比较重要的概念,理解和掌握原理有利于优化kafka性能和处理消费积压问题。Kafka topic 由多个分区组成,分区分布在集群节点上; Topic:topic01 Pa
阅读全文
posted @
2021-06-29 09:36
该用户很懒
阅读(845)
推荐(0) 编辑
kibana dashboard嵌入到web中的简单做法
摘要:dashboard页面点击shard 两种使用方式: 1、snapshot一般会同时打开short url来一起使用。测试效果是这样的: <!DOCTYPE html> <html> <style type="text/css"> html, body { margin: 0; padding 0;
阅读全文
posted @
2021-06-28 19:57
该用户很懒
阅读(1748)
推荐(0) 编辑
metricbeat用于old gc time的监控小程序
摘要:import datetime import elasticsearch import pytz import requests import time today_tmp = datetime.datetime.today() today_final = str(today_tmp).replac
阅读全文
posted @
2021-06-28 11:37
该用户很懒
阅读(69)
推荐(0) 编辑
es发送的数据在kibana上discover不显示,但是可以query到
摘要:最近在做一个日志解析的项目,遇到一个问题,数据发送到es,返回成功。但是kibana上discover不显示,时间范围调整到一个月内也搜索不到,devtool上query可以查到。 F12查看discover里的传参,发现有时间范围以及时区的参数。怀疑跟时区有关,既然刚刚尝试了提前一个月无效,那就延
阅读全文
posted @
2021-06-28 11:20
该用户很懒
阅读(2414)
推荐(0) 编辑
分布式系统之Quorum机制
摘要:转载: https://www.cnblogs.com/zz-ksw/p/12772605.html 在了解Quorum机制之前,先回顾一下数据一致性 强一致性:在任意时刻,从任意不同副本取出的值都是一样的。 弱一致性:有时泛指最终一致性,是指在任意时刻,可能由于网络延迟或者设备异常等原因,不同副本
阅读全文
posted @
2021-06-21 14:39
该用户很懒
阅读(300)
推荐(0) 编辑
vim粘贴锁紧错乱的解决办法
摘要:解决方案vim进入paste模式,命令如下: :set paste进入paste模式之后,再按i进入插入模式,进行复制、粘贴就很正常了。
阅读全文
posted @
2021-06-18 14:20
该用户很懒
阅读(95)
推荐(0) 编辑
make命令的-j -f参数说明
摘要:最近在配置tpcds测试环境的时候,发现shell脚本里有条执行语句没看懂,这里记录下:make -j 1 -f $LOAD_FILE -j:job并行度-f:指定的makefile,加上-f,用于编译的文件可以不用命名为makefile,不加的时候make命令默认寻找当前路径下的makefile或
阅读全文
posted @
2021-06-17 10:40
该用户很懒
阅读(651)
推荐(0) 编辑
shell中单引号和双引号区别
摘要:转载 https://blog.csdn.net/miyatang/article/details/8077123 一、单引号和双引号 首先,单引号和双引号,都是为了解决中间有空格的问题。 因为空格在linux中时作为一个很典型的分隔符,比如string1=this is astring,这样执行就
阅读全文
posted @
2021-06-16 14:44
该用户很懒
阅读(547)
推荐(0) 编辑
判断字符串相似度
摘要:# -*- coding: utf-8 -*- import difflib #判断相似度的方法,用到了difflib库 def get_equal_rate_1(str1, str2): return difflib.SequenceMatcher(None, str1, str2).quick_
阅读全文
posted @
2021-06-15 10:09
该用户很懒
阅读(80)
推荐(0) 编辑
shell计算时间差
摘要:#!/bin/bash current1=`date "+%Y-%m-%d %H:%M:%S"` start_time=`date -d "$current1" +%s` sleep 5s current2=`date "+%Y-%m-%d %H:%M:%S"` end_time=`date -d
阅读全文
posted @
2021-06-10 19:52
该用户很懒
阅读(320)
推荐(0) 编辑
hive cli转hive beeline的几个例子
摘要:#COMMAND="hive -i settings/load-${SCHEMA_TYPE}.sql -f ddl-tpch/bin_${SCHEMA_TYPE}/${t}.sql \ # -d DB=${DATABASE} \ # -d SOURCE=tpch_text_${SCALE} -d B
阅读全文
posted @
2021-06-10 11:24
该用户很懒
阅读(107)
推荐(0) 编辑
hive beeline hivevar和hiveconf的区别
摘要:转载 https://blog.csdn.net/Dax1n/article/details/80822755 1 、hivevar与hiveconf的区别:命名空间 使用权限 详细描述hivevar rw 用户自定义变量hiveconf rw hive相关配置属性system rw java定义的
阅读全文
posted @
2021-06-09 20:20
该用户很懒
阅读(887)
推荐(0) 编辑
用户提交任务到yarn报错
摘要:转载 https://www.cnblogs.com/barneywill/p/10628108.html 用户提交任务到yarn时有可能遇到下面的错误: 1) Requested user anything is not whitelisted and has id 980,which is be
阅读全文
posted @
2021-06-09 19:09
该用户很懒
阅读(793)
推荐(0) 编辑