随笔 - 321  文章 - 0  评论 - 6  阅读 - 34万
01 2021 档案
kafka rest api service的使用
摘要:转载:https://www.cnblogs.com/xnchll/p/9618432.html kafka集群需要安装confluent https://www.cnblogs.com/xnchll/p/9404705.html 转载 https://blog.51cto.com/9291927/ 阅读全文
posted @ 2021-01-29 16:50 该用户很懒 阅读(503) 评论(0) 推荐(0) 编辑
Kafka Manager几个指标含义
摘要:转载:https://www.cnblogs.com/gm-201705/p/11029237.html 阅读全文
posted @ 2021-01-29 16:13 该用户很懒 阅读(75) 评论(0) 推荐(0) 编辑
python生成二维数组
摘要:转载https://blog.csdn.net/u012814856/article/details/78740043 阅读全文
posted @ 2021-01-29 13:45 该用户很懒 阅读(205) 评论(0) 推荐(0) 编辑
kafka python sdk
摘要:转载:https://kafka-python.readthedocs.io/en/master/usage.html 阅读全文
posted @ 2021-01-29 13:40 该用户很懒 阅读(140) 评论(1) 推荐(1) 编辑
根据时间戳获取指定时间段内的offsets,kafka版本要在5.10以上
摘要:转载 https://yhyr.github.io/2019/01/23/Kafka-Timestamp/ 阅读全文
posted @ 2021-01-29 10:31 该用户很懒 阅读(410) 评论(0) 推荐(0) 编辑
querySelector常用用法
摘要:转载:https://juejin.cn/post/6844903927956111373 通过CSS样式表选择器的强大语法,来选择元素。 返回第一个匹配的元素 var title = document.querySelector("#title"); // CSS ID选择 var h1 = do 阅读全文
posted @ 2021-01-28 19:43 该用户很懒 阅读(3672) 评论(0) 推荐(0) 编辑
elasticsearch快照操作
摘要:转载https://www.elastic.co/guide/cn/elasticsearch/guide/current/backing-up-your-cluster.html 备份你的集群 使用无论哪个存储数据的软件,定期备份你的数据都是很重要的。Elasticsearch 副本提供了高可靠性 阅读全文
posted @ 2021-01-28 14:54 该用户很懒 阅读(526) 评论(0) 推荐(0) 编辑
kibana x轴双桶聚合
摘要:日常测试中遇到一种场景,有一些游戏日志存在es中,需要统计一段时间内top10用户里每个游戏app关键卡点时的每个用户平均内存,并且每个关键点里用户的平均内存按升序展示。 解决:y轴平均内存 x轴包括两个桶,外桶是游戏app的关键卡点,子桶是top10用户里的每个用户 外桶配置 子桶配置 阅读全文
posted @ 2021-01-22 19:18 该用户很懒 阅读(178) 评论(0) 推荐(0) 编辑
kibana可视化数据操作
摘要:转载:https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html 阅读全文
posted @ 2021-01-22 16:59 该用户很懒 阅读(58) 评论(0) 推荐(0) 编辑
shell检查子字符串
摘要:转载:https://blog.csdn.net/iamlihongwei/article/details/59484029 推荐 阅读全文
posted @ 2021-01-22 14:49 该用户很懒 阅读(61) 评论(0) 推荐(0) 编辑
es api常用操作
摘要:1、删除索引 curl -X DELETE "http://es_client_node_ip:http.port/index_name" 2、在某个索引下新增doc,(在已有索引模板的情况下,可以根据接口里指定的索引自动创建,不需要再提前创建索引) curl -H "Content-Type: a 阅读全文
posted @ 2021-01-21 17:35 该用户很懒 阅读(265) 评论(0) 推荐(0) 编辑
es集群写性能压测几个影响点
摘要:es集群写性能压测几个影响点1、插入方式:es支持单条和批量bulk,bulk在测试工具中用的比较多,需要注意bulk的size,以及bulk client的数量比如esrally中以http_logs的日志类型为例 2、doc的数据类型mapping中包含的数据类型、单条doc的长度比如esral 阅读全文
posted @ 2021-01-20 20:21 该用户很懒 阅读(491) 评论(0) 推荐(0) 编辑
flink 监控反压
摘要:转载:https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/ops/monitoring/back_pressure.html 阅读全文
posted @ 2021-01-20 19:57 该用户很懒 阅读(69) 评论(0) 推荐(0) 编辑
es集群迁移工具
摘要:最近测试需要从线上数据拷贝一些数据到测试集群,找了一下两个工具 elasticsearch-dump:https://github.com/elasticsearch-dump/elasticsearch-dump elasticsearch-migration(基于elasticsearch-du 阅读全文
posted @ 2021-01-20 19:55 该用户很懒 阅读(326) 评论(0) 推荐(0) 编辑
kibana上Search Rate、Search Latency、Indexing Rate、Indexing Latency的意思
摘要:参考:https://blog.csdn.net/harleylau/article/details/84109053 Search Rate:对于单个索引,它是每秒查找次数*分片数。 对于多个索引,它是每个索引的搜索速率的总和。 Search Latency:每个分片中的平均延迟。 Indexin 阅读全文
posted @ 2021-01-20 16:34 该用户很懒 阅读(3241) 评论(0) 推荐(0) 编辑
kibana visualize中去重和topN操作
摘要:去重 unique count 如下意义:按天显示不同role名的数量 top N 阅读全文
posted @ 2021-01-14 16:36 该用户很懒 阅读(1048) 评论(0) 推荐(0) 编辑
nginx配置关于http协议版本
摘要:通过proxy_http_version来指定,没指定的话默认就1.0和1.1都发 阅读全文
posted @ 2021-01-12 21:06 该用户很懒 阅读(2459) 评论(1) 推荐(0) 编辑
测试通过flink实时写入mysql的时候发现mysql里迟迟没有数据
摘要:转载:https://my.oschina.net/u/2828172/blog/4387485 先说结论: .setBatchSize(1) //将写入MySQL的buffer大小为1。 Flink 1.10 使用 flink-jdbc 连接器的方式与 MySQL 交互,读数据和写数据都能完成,但 阅读全文
posted @ 2021-01-05 20:25 该用户很懒 阅读(1605) 评论(0) 推荐(0) 编辑
借助flink来对es的写入性能进行调优
摘要:转载:https://my.oschina.net/u/2828172/blog/443419 背景说明 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。 阅读全文
posted @ 2021-01-05 20:02 该用户很懒 阅读(1461) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示