08 2017 档案
摘要:FileZilla是一款免费开源的FTP软件,安装和配置都很简单。在安装目录下的FileZilla Server Interface.xml和FileZilla Server.xml两个文件是程序的配置信息。 备份:FileZilla Server Interface.xml和FileZilla S
阅读全文
摘要:cat del.sh 利用crontab每天执行,每天删除据现在第30天的日志 欢迎转载,请注明出处
阅读全文
摘要:sar(System Activity Reporter系统活动情况报告)是目前 Linux 上最为全面的系统性能分析工具之一,可以从多方面对系统的活动进行报告,包括:文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。本文主要以CentOS 6.
阅读全文
摘要:一 Mysql Group Replication简介 Mysql Group Replication(MGR)是一个全新的高可用和高扩张的MySQL集群服务。 高一致性,基于原生复制及paxos协议的组复制技术,以插件方式提供一致数据安全保证; 高容错性,大多数服务正常就可继续工作,自动不同节点检
阅读全文
摘要:正则表达式 正则表达式就是用于匹配每行输入的一种模式,模式是指一串字符序列。下面是范例: grep 正则表达式示例 在 /etc/passswd 目录中搜索 'vivek' 输出例子: 搜索大小写任意的 vivek(即不区分大小写的搜索) 搜索大小写任意的 vivek 或 raj 上面最后的例子显示
阅读全文
摘要:相信大家都有感触,线上服务内存OOM的问题,是最难定位的问题,不过归根结底,最常见的原因: 本身资源不够 申请的太多 资源耗尽 本身资源不够 申请的太多 资源耗尽 58到家架构部,运维部,58速运技术部联合进行了一次线上服务内存OOM问题排查实战演练,将内存OOM问题定位三板斧分享出来,希望对大家也
阅读全文
摘要:突然发现elk服务器自己重启了,查看日志发现logstash日志比较多 怀疑是之前kill掉logstash进程造成的。想kill掉logstash进程,发现他的进程号老是变化无法杀掉。重启服务器后,logstash进程又启动了。 最后使用的奇葩方法,就是把logstash卸载掉
阅读全文
摘要:查看网页访问代码不为200和30x所有行的内容 查看网页访问代码为200和30x所有行的内容 欢迎转载,请注明出处!
阅读全文
摘要:原创 IT168企业级 2017-08-21 17:40 本文为您盘点了14个最常见的Kafka面试题,同时也是对Apache Kafka初学者必备知识点的一个整理与介绍。 1、请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式
阅读全文
摘要:发现服务器有个gpk-update-icon一直占用CPU进程 网上查看相关信息比较少。 gpk-update-icon是gnome的更新图标进程 俩种处理方法: 1、杀掉gpk-update-icon进程 2、卸载gpk-update-icon 或 欢迎转载,请注明出处 gpk-update-ic
阅读全文
摘要:Traceroute提取发 ICMP TTL到期消息设备的IP地址并作域名解析。每次 ,Traceroute都打印出一系列数据,包括所经过的路由设备的域名及 IP地址,三个包每次来回所花时间。 traceroute -I www.baidu.com traceroute to www.baidu.c
阅读全文
摘要:一、Oracle的使用 1)、启动 1、登录 Win+R—cmd—>sqlplus “/as sysdba” //以sysdba用户登录,这样可以管理权限,添加用户等 Win+R—cmd—>sqlplus username/password //以指定用户名密码登录 win+R —> cmd —–>
阅读全文
摘要:前阵子公司需要,让我搭个Git服务器,把之前用的SVN上代码迁移到git上去,所以就在阿里云主机上搭了一个,记录了下安装过程,留存文档以备查阅。本篇本章只涉及搭建部分的操作,更多git的使用可以参考文档。 系统环境 主机环境 系统版本信息 安装依赖 Centos系统会默认安装一个git-1.7.1,
阅读全文
摘要:1. 配置文件 2. 基本概念 接近实时(NRT) Elasticsearch 是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个很小的延迟(通常是 1 秒)。 集群(cluster) 代表一个集群,集群中有多个节点(node),其中有一个为主节点,这个主节点是可以通过
阅读全文
摘要:一个网站项目,肯定是避免不了404页面的,通常使用Nginx作为Web服务器时,有以下集中配置方式,一起来看看。 第一种:Nginx自己的错误页面 Nginx访问一个静态的html 页面,当这个页面没有的时候,Nginx抛出404,那么如何返回给客户端404呢? 看下面的配置,这种情况下不需要修改任
阅读全文
摘要:今天就给大家列举 MySQL 数据库中最经典的十大错误案例,并附有处理问题的解决思路和方法。希望能给刚入行或数据库爱好者一些帮助,今后再遇到任何报错,我们都可以很淡定地去处理。学习任何一门技术的同时,其实就是自我修炼的过程。沉下心,尝试去拥抱数据的世界! 转自 MySQL数据库的“十宗罪” – 运维
阅读全文
摘要:如果elasticsearch删除索引报错 curl -X DELETE 'http://10.73.26.66:9200/httpd-34-2017.08.15' {"error":{"root_cause":[{"type":"illegal_argument_exception","reaso
阅读全文
摘要:使用方法 ab -n 800 -c 800 http://192.168.0.10/ (-n发出800个请求,-c模拟800并发,相当800人同时访问,后面是测试url) ab -t 60 -c 100 http://192.168.0.10/ 在60秒内发请求,一次100个请求。 1. 最基本的关
阅读全文
摘要:preface logstash--> redis --> logstash --> es这套架构在讲究松耦合关系里面是最简单的,架构图如下: 解释下这个架构图的流程 我们可以参考官网的建议:https://www.elastic.co/guide/en/logstash/2.3/deploying
阅读全文
摘要:preface 说道分析日志,我们知道的采集方式有2种: 第一种方式是不怎么推荐使用的,除非是在日志量比较小的场景才推荐使用。因为grok非常影响性能的,且不够灵活,除非你很懂ruby。第二种方式是 我们一直推荐使用的架构,讲究松耦合关系。 下面我们还是说说第一种方式,然后再说第二种方式。 grok
阅读全文
摘要:preface tcp模块的使用场景如下: 有一台服务器A只需要收集一个日志,那么我们就可以不需要在这服务器上安装logstash,我们通过在其他logstash上启用tcp模块,监听某个端口,然后我们在这个服务器A把日志通过nc发送到logstash上即可。 tcp模块的使用 在linux-nod
阅读全文
摘要:preface rsyslog是CentOs系统自带的的一个日志工具,那么我们就配置logstash来接受rsyslog的日志。 logstash的syslog模块 linux-node2上操作logstash采集rsyslog发过来的日志,需要通过syslog模块来接受,这个模块的官网资料是:ht
阅读全文
摘要:preface 我们都搭建了ELK系统,且日志也能够正常收集的时候,那么就配置下kibana。我们可以通过kibana配置柱状图,趋势图,统计图,圆饼图等等各类图。下面就拿配置统计图和柱状图为例,结合dashboard来说说如何配置。 选择柱状图 选择Nginx日志 时间的话根据自己需求选择,我这里
阅读全文
摘要:preface 上回说道了elk的安装以及kibana的简单搜索语法,还有logstash的input,output的语法,但是我们在使用中发现了一个问题,我们知道,elk是每一行为一个事件,像Java这类的输出日志,一个事件占用了好几行,导致elk在处理日志的时候,不能够识别多行日志为一个事件,所
阅读全文
摘要:preface 我们每天都要查看服务器的日志,一方面是为了开发的同事翻找日志,另一方面是巡检服务器查看日志,而随着服务器数量以及越来越多的业务上线,日志越来越多,人肉运维相当痛苦了,此时,参考现在非常流行的日志分析工具,搭建了一套ELK日志分析系统。下面就说说ELK,ELK安装过程以及如何使用。 了
阅读全文
摘要:转自 elk系列3之通过json格式采集Nginx日志 - 温柔易淡 - 博客园http://www.cnblogs.com/liaojiafa/p/6158245.html preface 公司采用的LNMP平台,跑着挺多nginx,所以可以利用elk好好分析nginx的日志。下面就聊聊它吧。 下
阅读全文
摘要:1、数据库版本 MySQL> select version() -> ;+ +| version() |+ +| 5.7.17 |+ +1 row in set (0.00 sec) --主从同步 10.10.6.87 主 10.10.90 从 2、产生问题过程 (1)主从库开启了GTID模式 (2
阅读全文
摘要:上周, 部分站点出现Couldn't resolve host.....问题, 导致公司所有走api的程序都无法正常使用(系统redhat 6.3的都出现问题, redhat 5一切OK). 最后解决方法找到了,但是具体原因目前还未知. 从这个报错,可以很明显的发现是域名解析不了。于是做如下排查。
阅读全文
摘要:Host-A 不能上网,但是需要在上面安装Python-package 通过另外一台能上网的Host-B主机 1. 下载需要离线安装的Packages 在Host-B上执行如下命令: 安装单个Package 安装多个Packages 2. 将下载好的Packages拷贝至内网服务器 使用scp、sf
阅读全文
摘要:1、yum install memcached安装memecached 2、chkconfig memcached on设置memcached开机启动 3、service memcached start立即启动memcached服务 4、rpm -ql memcached 查找memcached安装
阅读全文
摘要:如果向您的服务器发出了某项请求要求显示您网站上的某个网页(例如,当用户通过浏览器访问您的网页或在 Googlebot 抓取该网页时),那么,您的服务器会返回 HTTP 状态代码以响应该请求。 此状态代码提供了有关请求状态的信息,且为 Googlebot 提供了有关您网站和请求的网页的信息。 一些常见
阅读全文
摘要:一、参数解释 0:log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。 1:每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去
阅读全文
摘要:1. 利用mysqldump进行逻辑备份 1)全逻辑备份: mysqldump -uxxx -p --flush-logs --delete-master-logs --all-databases > alldb.sql (每天晚上进行一次全备) 2)增量备份: mysqladmin flush-l
阅读全文
摘要:1.安装JDK 1)登陆ORACLE官网 (http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html )下载JDK 2)将jdk包放到目录/home/app下,执行解压命令 tar -xvf jdk-8
阅读全文
摘要:转自 MySQL5.6 新特性之GTID - jyzhou - 博客园http://www.cnblogs.com/zhoujinyi/p/4717951.html 背景: MySQL5.6在5.5的基础上增加了一些改进,本文章先对其中一个一个比较大的改进"GTID"进行说明。 概念: GTID即全
阅读全文
摘要:redis 和memcached是分布式缓存的两款流行方案,他们之间的对比 Replication 支持 主备自动切换 1、Redis和Memcache都是将数据存放在内存中,都是内存数据库。不过memcache还可用于缓存其他东西,例如图片、视频等等; 2、Redis不仅仅支持简单的k/v类型的数
阅读全文
摘要:转自 离线部署ELK+kafka日志管理系统 - xiaoxiaozhou - 51CTO技术博客http://xiaoxiaozhou.blog.51cto.com/4681537/1854684 1、简介 对于日志来说,最常见的需求就是收集、查询、显示,正对应logstash、elasticse
阅读全文
摘要:转自 Elasticsearch5.0 安装问题集锦 - 代码&优雅着&生活 - 博客园http://www.cnblogs.com/sloveling/p/elasticsearch.html elasticsearch 5.0 安装过程中遇到了一些问题,通过查找资料几乎都解决掉了,这里简单记录一
阅读全文
摘要:采集和防止采集是一个经久不息的话题,一方面都想搞别人的东西,另一方面不想自己的东西被别人搞走。 本文介绍如何利用nginx屏蔽ip来实现防止采集,当然也可以通过iptable来实现。 1.查找要屏蔽的ip nginx.access.log 为日志文件, 会到如下结果,前面是ip的访问次数,后面是ip
阅读全文