摘要：
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ fil 阅读全文
摘要：
awk 也是一个非常棒的数据处理工具！sed 常常用于一整个行的处理， awk 则比较倾向于一行当中分成数个『栏位』（或者称为一个域，也就是一列）来处理。因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运行的模式是这样的： awk 后面接两个单引号并加上大括号 {} 来配置想要对数据进 阅读全文
摘要：
https://yq.aliyun.com/articles/47359 摘要： nginx在工作中已经有好几个环境在使用了，每次都是重新去网上扒博客，各种编译配置，今天自己也整理一份安装文档和nginx.conf配置选项的说明，留作以后参考。像负载均衡配置（包括健康检查）、缓存（包括清空缓存）配置 阅读全文
摘要：
第一种安装方案(官网) 基于官方的安装方式(安装包并非是最新版本的) 准备CentOS 7.x环境 查看内核版本 1 2 3 [root@k8s-master kube-yaml]# uname -r 3.10.0-514.6.1.el7.x86_64 [root@k8s-master kube-y 阅读全文
摘要：
CentOS 7 GlusterFS 环境说明：3台机器安装 GlusterFS 组成一个集群。使用 docker volume plugin GlusterFS 服务器：10.6.0.14010.6.0.19210.6.0.196配置 hosts 10.6.0.140 swarm-manager1 阅读全文
摘要：
在CentOS7上部署Kubernetes集群 文／FCBusquest 2015-12-22 18:36:00 简介 Kubernetes(k8s)是Google开源的大规模容器集群管理系统, 本文将基于CentOS7自带的Kubernetes组件、分布式键值存储系统etcd以及Flannel实现 阅读全文
摘要：
之前写过一篇手动搭建etcd 3.1集群的文章《etcd 3.1 高可用集群搭建》，最近要初始化一套新的环境，考虑用ansible自动化部署整套环境， 先从部署etcd 3.2集群开始。 需要部署etcd的主机信息如下： node1 192.168.61.11 node2 192.168.61.12 阅读全文
摘要：
备注：从 0.9.0.0版本后，kafkat添加了新的消费者API及对应的consumer配置，有一些较大的变化，这就要求使用对应的kafka-clients(客户端)版本。 阅读全文
摘要：
一、下载安装Kafka0.8.2 二、vi config/server.properties 三、修改为advertised.host.name=192.168.1.76 四、rm -rf /tmp *移除临时目录下的文件 五、修改vi /etc/hosts中的127.0.0.1为192.168.1 阅读全文
摘要：
Kafka常用命令 以下是kafka常用命令行总结： 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partition 阅读全文
摘要：
一、 误区澄清与概念明确 一、 误区澄清与概念明确 1 Kafka的版本 很多人在Kafka中国社区(替群主做个宣传，QQ号：162272557)提问时的开头经常是这样的：“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯，但这里的2.10/2.11不是kaf 阅读全文
摘要：
简介 KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面，用来实时监控Kafka的Consumer以及Partition中的Offset，可以在web界面直观的看到每个Partition的Message的增长速度，是否消费，是否阻塞等。 使用 如果不想编译，可以直接去 阅读全文
摘要：
简介 KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面，用来实时监控Kafka的Consumer以及Partition中的Offset，可以在web界面直观的看到每个Partition的Message的增长速度，是否消费，是否阻塞等。 使用 如果不想编译，可以直接去 阅读全文
摘要：
https://develop.aliyun.com/tools/sdk?#/python 预设监控项参考 https://help.aliyun.com/document_detail/28624.html?spm=5176.doc28622.6.660.jH63VC 云监控自定义监控SDK ht 阅读全文
摘要：
每15分钟构建一次：H/15 * * * * 或*/5 * * * * 每天8点构建一次：0 8 * * * 每天8点~17点，两小时构建一次：0 8-17/2 * * * 周一到周五，8点~17点，两小时构建一次：0 8-17/2 * * 1-5 每月1号、15号各构建一次，除12月：H H 1, 阅读全文
摘要：
Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。 Consumer Offset Checker Consumer Offset Checker主要是 阅读全文
摘要：
自定义监控：对上面监控的补充，可以自定义相应的监控项，在服务器上执行相应的脚本采集数据，然后调用阿里云封装的JDK将数据上传，进行报警处理。 下载阿里云的JDK到服务器相应的目录下 http://help.aliyun.com/knowledge_detail.htm?knowledgeId=597 阅读全文
摘要：
阿里云提供自定义监控SDK，这有助于我们定制化的根据自身业务来做监控，下面我就根据业务需求来介绍一个简单的自定义监控配置。 阿里提供了2个版本的自定义监控接口：自定义监控SDK（python版） ：cms_post.py自定义监控SDK（bash版） ：cms_post.sh下载地址：http:// 阅读全文
摘要：
Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ganglia和Gra 阅读全文
摘要：
由于业务的关系我们用的是阿里云的ECS主机，需要对业务进程需要监控，查看后发现阿里云提供自定义监控SDK，这有助于我们定制化的根据自身业务来做监控，下面我就根据业务需求来介绍一个简单的自定义监控配置 1 2 PYTHON脚本下载地址：http://imgs-storage.cdn.aliyuncs. 阅读全文