随笔 - 321  文章 - 0  评论 - 6  阅读 - 34万
06 2021 档案
kafka消费组消费者分区策略
摘要:转载:https://www.cnblogs.com/lanston/p/14219473.html 消费组和消费者是kafka中比较重要的概念,理解和掌握原理有利于优化kafka性能和处理消费积压问题。Kafka topic 由多个分区组成,分区分布在集群节点上; Topic:topic01 Pa 阅读全文
posted @ 2021-06-29 09:36 该用户很懒 阅读(845) 评论(0) 推荐(0) 编辑
kibana dashboard嵌入到web中的简单做法
摘要:dashboard页面点击shard 两种使用方式: 1、snapshot一般会同时打开short url来一起使用。测试效果是这样的: <!DOCTYPE html> <html> <style type="text/css"> html, body { margin: 0; padding 0; 阅读全文
posted @ 2021-06-28 19:57 该用户很懒 阅读(1748) 评论(0) 推荐(0) 编辑
metricbeat用于old gc time的监控小程序
摘要:import datetime import elasticsearch import pytz import requests import time today_tmp = datetime.datetime.today() today_final = str(today_tmp).replac 阅读全文
posted @ 2021-06-28 11:37 该用户很懒 阅读(69) 评论(0) 推荐(0) 编辑
es发送的数据在kibana上discover不显示,但是可以query到
摘要:最近在做一个日志解析的项目,遇到一个问题,数据发送到es,返回成功。但是kibana上discover不显示,时间范围调整到一个月内也搜索不到,devtool上query可以查到。 F12查看discover里的传参,发现有时间范围以及时区的参数。怀疑跟时区有关,既然刚刚尝试了提前一个月无效,那就延 阅读全文
posted @ 2021-06-28 11:20 该用户很懒 阅读(2414) 评论(0) 推荐(0) 编辑
分布式系统之Quorum机制
摘要:转载: https://www.cnblogs.com/zz-ksw/p/12772605.html 在了解Quorum机制之前,先回顾一下数据一致性 强一致性:在任意时刻,从任意不同副本取出的值都是一样的。 弱一致性:有时泛指最终一致性,是指在任意时刻,可能由于网络延迟或者设备异常等原因,不同副本 阅读全文
posted @ 2021-06-21 14:39 该用户很懒 阅读(300) 评论(0) 推荐(0) 编辑
vim粘贴锁紧错乱的解决办法
摘要:解决方案vim进入paste模式,命令如下: :set paste进入paste模式之后,再按i进入插入模式,进行复制、粘贴就很正常了。 阅读全文
posted @ 2021-06-18 14:20 该用户很懒 阅读(95) 评论(0) 推荐(0) 编辑
make命令的-j -f参数说明
摘要:最近在配置tpcds测试环境的时候,发现shell脚本里有条执行语句没看懂,这里记录下:make -j 1 -f $LOAD_FILE -j:job并行度-f:指定的makefile,加上-f,用于编译的文件可以不用命名为makefile,不加的时候make命令默认寻找当前路径下的makefile或 阅读全文
posted @ 2021-06-17 10:40 该用户很懒 阅读(651) 评论(0) 推荐(0) 编辑
shell中单引号和双引号区别
摘要:转载 https://blog.csdn.net/miyatang/article/details/8077123 一、单引号和双引号 首先,单引号和双引号,都是为了解决中间有空格的问题。 因为空格在linux中时作为一个很典型的分隔符,比如string1=this is astring,这样执行就 阅读全文
posted @ 2021-06-16 14:44 该用户很懒 阅读(547) 评论(0) 推荐(0) 编辑
判断字符串相似度
摘要:# -*- coding: utf-8 -*- import difflib #判断相似度的方法,用到了difflib库 def get_equal_rate_1(str1, str2): return difflib.SequenceMatcher(None, str1, str2).quick_ 阅读全文
posted @ 2021-06-15 10:09 该用户很懒 阅读(80) 评论(0) 推荐(0) 编辑
shell计算时间差
摘要:#!/bin/bash current1=`date "+%Y-%m-%d %H:%M:%S"` start_time=`date -d "$current1" +%s` sleep 5s current2=`date "+%Y-%m-%d %H:%M:%S"` end_time=`date -d 阅读全文
posted @ 2021-06-10 19:52 该用户很懒 阅读(320) 评论(0) 推荐(0) 编辑
hive cli转hive beeline的几个例子
摘要:#COMMAND="hive -i settings/load-${SCHEMA_TYPE}.sql -f ddl-tpch/bin_${SCHEMA_TYPE}/${t}.sql \ # -d DB=${DATABASE} \ # -d SOURCE=tpch_text_${SCALE} -d B 阅读全文
posted @ 2021-06-10 11:24 该用户很懒 阅读(107) 评论(0) 推荐(0) 编辑
hive beeline hivevar和hiveconf的区别
摘要:转载 https://blog.csdn.net/Dax1n/article/details/80822755 1 、hivevar与hiveconf的区别:命名空间 使用权限 详细描述hivevar rw 用户自定义变量hiveconf rw hive相关配置属性system rw java定义的 阅读全文
posted @ 2021-06-09 20:20 该用户很懒 阅读(887) 评论(0) 推荐(0) 编辑
用户提交任务到yarn报错
摘要:转载 https://www.cnblogs.com/barneywill/p/10628108.html 用户提交任务到yarn时有可能遇到下面的错误: 1) Requested user anything is not whitelisted and has id 980,which is be 阅读全文
posted @ 2021-06-09 19:09 该用户很懒 阅读(793) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示