摘要:
awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ fil 阅读全文
摘要:
awk 也是一个非常棒的数据处理工具!sed 常常用于一整个行的处理, awk 则比较倾向于一行当中分成数个『栏位』(或者称为一个域,也就是一列)来处理。因此,awk 相当的适合处理小型的数据数据处理呢!awk 通常运行的模式是这样的: awk 后面接两个单引号并加上大括号 {} 来配置想要对数据进 阅读全文
摘要:
https://yq.aliyun.com/articles/47359 摘要: nginx在工作中已经有好几个环境在使用了,每次都是重新去网上扒博客,各种编译配置,今天自己也整理一份安装文档和nginx.conf配置选项的说明,留作以后参考。像负载均衡配置(包括健康检查)、缓存(包括清空缓存)配置 阅读全文
摘要:
第一种安装方案(官网) 基于官方的安装方式(安装包并非是最新版本的) 准备CentOS 7.x环境 查看内核版本 1 2 3 [root@k8s-master kube-yaml]# uname -r 3.10.0-514.6.1.el7.x86_64 [root@k8s-master kube-y 阅读全文
摘要:
CentOS 7 GlusterFS 环境说明:3台机器安装 GlusterFS 组成一个集群。使用 docker volume plugin GlusterFS 服务器:10.6.0.14010.6.0.19210.6.0.196配置 hosts 10.6.0.140 swarm-manager1 阅读全文
摘要:
在CentOS7上部署Kubernetes集群 文/FCBusquest 2015-12-22 18:36:00 简介 Kubernetes(k8s)是Google开源的大规模容器集群管理系统, 本文将基于CentOS7自带的Kubernetes组件、分布式键值存储系统etcd以及Flannel实现 阅读全文
摘要:
之前写过一篇手动搭建etcd 3.1集群的文章《etcd 3.1 高可用集群搭建》,最近要初始化一套新的环境,考虑用ansible自动化部署整套环境, 先从部署etcd 3.2集群开始。 需要部署etcd的主机信息如下: node1 192.168.61.11 node2 192.168.61.12 阅读全文
摘要:
备注:从 0.9.0.0版本后,kafkat添加了新的消费者API及对应的consumer配置,有一些较大的变化,这就要求使用对应的kafka-clients(客户端)版本。 阅读全文
摘要:
一、下载安装Kafka0.8.2 二、vi config/server.properties 三、修改为advertised.host.name=192.168.1.76 四、rm -rf /tmp *移除临时目录下的文件 五、修改vi /etc/hosts中的127.0.0.1为192.168.1 阅读全文
摘要:
Kafka常用命令 以下是kafka常用命令行总结: 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partition 阅读全文
摘要:
一、 误区澄清与概念明确 一、 误区澄清与概念明确 1 Kafka的版本 很多人在Kafka中国社区(替群主做个宣传,QQ号:162272557)提问时的开头经常是这样的:“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯,但这里的2.10/2.11不是kaf 阅读全文
摘要:
简介 KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面,用来实时监控Kafka的Consumer以及Partition中的Offset,可以在web界面直观的看到每个Partition的Message的增长速度,是否消费,是否阻塞等。 使用 如果不想编译,可以直接去 阅读全文
摘要:
简介 KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面,用来实时监控Kafka的Consumer以及Partition中的Offset,可以在web界面直观的看到每个Partition的Message的增长速度,是否消费,是否阻塞等。 使用 如果不想编译,可以直接去 阅读全文
摘要:
https://develop.aliyun.com/tools/sdk?#/python 预设监控项参考 https://help.aliyun.com/document_detail/28624.html?spm=5176.doc28622.6.660.jH63VC 云监控自定义监控SDK ht 阅读全文
摘要:
每15分钟构建一次:H/15 * * * * 或*/5 * * * * 每天8点构建一次:0 8 * * * 每天8点~17点,两小时构建一次:0 8-17/2 * * * 周一到周五,8点~17点,两小时构建一次:0 8-17/2 * * 1-5 每月1号、15号各构建一次,除12月:H H 1, 阅读全文
摘要:
Kafka内部提供了许多管理脚本,这些脚本都放在$KAFKA_HOME/bin目录下,而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。 Consumer Offset Checker Consumer Offset Checker主要是 阅读全文
摘要:
自定义监控:对上面监控的补充,可以自定义相应的监控项,在服务器上执行相应的脚本采集数据,然后调用阿里云封装的JDK将数据上传,进行报警处理。 下载阿里云的JDK到服务器相应的目录下 http://help.aliyun.com/knowledge_detail.htm?knowledgeId=597 阅读全文
摘要:
阿里云提供自定义监控SDK,这有助于我们定制化的根据自身业务来做监控,下面我就根据业务需求来介绍一个简单的自定义监控配置。 阿里提供了2个版本的自定义监控接口:自定义监控SDK(python版) :cms_post.py自定义监控SDK(bash版) :cms_post.sh下载地址:http:// 阅读全文
摘要:
Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来,比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ganglia和Gra 阅读全文
摘要:
由于业务的关系我们用的是阿里云的ECS主机,需要对业务进程需要监控,查看后发现阿里云提供自定义监控SDK,这有助于我们定制化的根据自身业务来做监控,下面我就根据业务需求来介绍一个简单的自定义监控配置 1 2 PYTHON脚本下载地址:http://imgs-storage.cdn.aliyuncs. 阅读全文