随笔 - 321  文章 - 0  评论 - 6  阅读 - 34万
04 2021 档案
ceph性能测试
摘要:转载:https://developer.aliyun.com/article/559261 部署方案:整个Ceph Cluster使用4台ECS,均在同一VPC中,结构如图: 以下是 Ceph 的测试环境,说明如下: Ceph 采用 10.2.10 版本,安装于 CentOS 7.4 版本中;系统 阅读全文
posted @ 2021-04-28 16:34 该用户很懒 阅读(2075) 评论(0) 推荐(0) 编辑
spark提交任务流程
摘要:转载:https://zhuanlan.zhihu.com/p/100051331 1.Spark基于StandaLone的任务提交模式 StandaLone提交任务有两种模式,一种是基于客户端Client提交任务,另一种是集群cluster提交任务。 首先来看基于客户端提交任务: 提交命令为: . 阅读全文
posted @ 2021-04-27 15:38 该用户很懒 阅读(571) 评论(0) 推荐(0) 编辑
pyspark的使用和操作(基础整理)
摘要:转载:原文链接:https://blog.csdn.net/cymy001/article/details/78483723 Spark提供了一个Python_Shell,即pyspark,从而可以以交互的方式使用Python编写Spark程序。有关Spark的基本架构介绍参考http://blog 阅读全文
posted @ 2021-04-27 10:43 该用户很懒 阅读(2078) 评论(0) 推荐(0) 编辑
kudu架构
摘要:转载:https://blog.csdn.net/weixin_43230682/article/details/108126757 https://www.jianshu.com/p/8498c168c384 1. Table 表(Table)是数据库中用来存储数据的对象,是有结构的数据集合。ku 阅读全文
posted @ 2021-04-23 17:39 该用户很懒 阅读(195) 评论(0) 推荐(0) 编辑
Kafka——在zookeeper中存储结构和查看方式
摘要:转载:https://www.cnblogs.com/caoweixiong/p/11076438.html 阅读全文
posted @ 2021-04-21 14:26 该用户很懒 阅读(51) 评论(0) 推荐(0) 编辑
es常用接口
摘要:1、删除query匹配的doc POST /rally-results-2021-04/_delete_by_query{ "query": { "match": { "user-tags.tag_cluster_name": "es-benchmark-search3data1replicas" 阅读全文
posted @ 2021-04-20 17:01 该用户很懒 阅读(896) 评论(0) 推荐(0) 编辑
esrally报告中的service time和latency区别
摘要:参考:https://esrally.readthedocs.io/en/stable/faq.html?highlight=create What do latency and service_time mean and how do they relate to the took field t 阅读全文
posted @ 2021-04-20 10:35 该用户很懒 阅读(238) 评论(0) 推荐(0) 编辑
thrift不支持的关键字
摘要:thrift不支持的关键字: https://github.com/apache/thrift/blob/master/compiler/cpp/src/thrift/generate/t_generator.cc //搜索keywords https://github.com/apache/thr 阅读全文
posted @ 2021-04-16 16:49 该用户很懒 阅读(72) 评论(0) 推荐(0) 编辑
kafka提交offset机制
摘要:转载:https://www.cnblogs.com/FG123/p/10091599.html 在kafka的消费者中,有一个非常关键的机制,那就是offset机制。它使得Kafka在消费的过程中即使挂了或者引发再均衡问题重新分配Partation,当下次重新恢复消费时仍然可以知道从哪里开始消费。 阅读全文
posted @ 2021-04-16 16:48 该用户很懒 阅读(956) 评论(0) 推荐(0) 编辑
jvm内存常见问题的分析和处理
摘要:转载:https://www.huaweicloud.com/articles/efaefd3b4cdc45298eb72747893e49c7.html 一.前言 各位开发和运维同学,在项目实施落地的过程中,尤其是使用EDAS、DRDS、MQ这些java中间件时,肯定会遇到不少JAVA程序运行和J 阅读全文
posted @ 2021-04-14 20:13 该用户很懒 阅读(576) 评论(0) 推荐(1) 编辑
metricbeat安装使用
摘要:安装 跟版本对应 1、curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.3-amd64.deb 2、sudo dpkg -i metricbeat-6.4.3-amd64.deb 配置: 阅读全文
posted @ 2021-04-13 15:53 该用户很懒 阅读(554) 评论(0) 推荐(0) 编辑
elasticsearch监控方案
摘要:用Prometheus+grafana进行监控 https://github.com/justwatchcom/elasticsearch_exporter https://github.com/vvanholl/elasticsearch-prometheus-exporter 用metricbe 阅读全文
posted @ 2021-04-13 15:00 该用户很懒 阅读(154) 评论(0) 推荐(0) 编辑
discovery.zen.minimum_master_nodes防止脑裂
摘要:转载:https://blog.csdn.net/zuodaoyong/article/details/104719508 discovery.zen.minimum_master_nodes对集群的稳定性至关重要,防止脑裂的出现。 脑裂: 如果网络的故障导致一个集群被划分成两片,每片都有多个nod 阅读全文
posted @ 2021-04-08 20:08 该用户很懒 阅读(370) 评论(0) 推荐(0) 编辑
elasticsearch集群配置规则
摘要:1、集群中至少配置3个master节点,大集群5个,遵循奇数原则,为了防止脑裂,discovery.zen.minimum_master_nodes相应地设置成2和3 2、如果都是机械硬盘的话,一般每台机器上会有1个warm,1个hot数据节点。如果有ssd硬盘,ssd放hot,机械放warm 3、 阅读全文
posted @ 2021-04-08 11:35 该用户很懒 阅读(1606) 评论(0) 推荐(0) 编辑
hive动态分区和静态分区
摘要:转载:https://www.jianshu.com/p/5dbbaea8ff41 一)hive中支持两种类型的分区: 静态分区SP(static partition) 动态分区DP(dynamic partition) 静态分区与动态分区的主要区别在于静态分区是手动指定,而动态分区是通过数据来进行 阅读全文
posted @ 2021-04-06 20:40 该用户很懒 阅读(602) 评论(0) 推荐(0) 编辑
shell截取字符串方法
摘要:转载:https://www.cnblogs.com/kevingrace/p/8868262.html 2.1) # 最小限度从前面截取word语法:${parameter#*word} , 即截取 "第一个分隔符word及其之前的字符全部删掉"后的字符 1 2 3 4 5 6 7 8 9 10 阅读全文
posted @ 2021-04-06 20:30 该用户很懒 阅读(409) 评论(0) 推荐(0) 编辑
esrally对统一集群的性能测试——分布式、单机、内外网、client端的node数量
摘要:1、es集群环境:三台物理节点 整个集群配置9个node:3个master节点、3个client节点、3个data节点 2、rally测试数据:默认配置、http_logs 3、测试结果 3.1 分布式(外网client节点http port) 3.2 单机压测(外网client节点http por 阅读全文
posted @ 2021-04-06 19:57 该用户很懒 阅读(430) 评论(2) 推荐(0) 编辑
esrally安装和分布式运行
摘要:1、python3环境安装 2、pip3 install esrally 3、运行esrally,这个时候会出现.rally文件夹,注意一定要先运行esrally这个命令 注意:压测的是client node的http port esrally --pipeline=benchmark-only - 阅读全文
posted @ 2021-04-06 15:46 该用户很懒 阅读(172) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示