11 2017 档案
摘要:系统:Centos6.6x64安装目录:/usr/local/主:192.168.100.103从:192.168.100.104 1,下载安装: 安装依赖: # yum install gcc tcl ruby -y # wget http://download.redis.io/releases
阅读全文
摘要:redis 集群 cluster 在设计的时候,就考虑到了去中心化,去中间件,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃,这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据。 Red
阅读全文
摘要:Redis_sentinel 哨兵模式; Redis 架构一般多是一主多从; Sentinel 哨兵模式就是三组进行相互监控; 配置 Redis 的主从模式; 主配置信息:6371 从配置信息: 6372 从配置信息 6373 : sentinel 哨兵: redis 哨兵 sentinel.con
阅读全文
摘要:TwemProxy 1、twemproxy是twitter开发的一个redis代理proxy。 通过Twemproxy可以使用多台服务器来水平扩张redis服务,可以有效的避免redis单点故障问题。使用Twemproxy 对硬件资源配置较高;在redis性能有一定的损失(twitter测试约20%
阅读全文
摘要:Apache Storm Storm是一个分布式的,可靠的,容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt,bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过
阅读全文
摘要:升级 Python 导致 yum 和 pip 异常; 一些storm 和 自定义项目 需要升级python版本;Linux 系统默认是2.6 版本 ,所以需要根据业务进行升级操作:Python 官方下载地址: https://www.python.org/ftp/python/ # yum inst
阅读全文
摘要:zookeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是
阅读全文
摘要:kafka Monitor Kafka Offset Monitor 执行格式: offsetStorage 目前只支持 kaka,zk 按照host1:port1,host2:port2… 的格式去写即可; 示例: 正式线测试访问:
阅读全文
摘要:kafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。通过集群来提供实时的消费; 节点信息 kafka1 192.168.1.31 broker
阅读全文
摘要:Nxlog 主要用于各业务后端服务的日志采集,windows环境和linux环境都支持。 nglog 主要分两部分: 配置示例: # cat nglog.conf ( windows 和 Linux 可通用 需注意编码格式问题 ) 多级目录的配置:
阅读全文
摘要:基本配置elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml 、logging.yml、jvm.options 第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置
阅读全文
摘要:elasticsearch 配置单机器多实例 path data: path logs: path config: elasticsearch 配置绝对路径 : [root@es]$ cat config/node1/elasticsearch.yml |grep -v ^# 非root 启动:绝对
阅读全文
摘要:elasticsearch开源的搜索引擎; ElasticSearch 个基于Lucene的搜索服务器;可以使用多节点的备份;集群设置; (类似是个数据库型、有索引有什么的)、(lucene apache 基金的全文检索引擎的架构) 1、ElasticSearch 安装使用; 软件 架构 安装时第一
阅读全文
摘要:每次安装源码都会有一些忘记的模块开启;和需要插件;上次完全做已经多年了,在总结下; 启动参数: 直接使用curl命令来读取web信息 远程连接; php 启动php-fpm # /usr/local/php5/sbin/php-fpm
阅读全文
摘要:pip 安装 初始化系统 安装PiP 问题? pip 安装 异常依赖;
阅读全文
摘要:Tomcat 站点配置1、bin目录下 1、catalina tomcat 主脚本、执行Java命令调用tomcat的启动与停止 2、cpappend 用于windows系统内部,将项目路径追加至tomcat的classpath 环境变量中 3、digest 生成tomcat密码的加密摘要 4、se
阅读全文
摘要:tomcat 性能优化;一、性能校验涉及:并发、缓存、内存、系统配置。 示例: 二、tomcat 配置优化; linux服务器使用tomcat的时候老出现内存不够,这个时候就需要调整tomcat的内存, server.conf 参考示例 (并发 和 缓存配置) maxThreads 客户请求最大线程
阅读全文
摘要:TOMCAT 1、主目录下有bin,conf,lib,logs,temp,webapps,work 二、tomcat 配置优化问题;1、linux服务器使用tomcat的时候老出现内存不够,这个时候就需要调整tomcat的内存; 修改的文件为catalina.sh 在第一行加上以下代码: 还有种情况
阅读全文
摘要:Nginx 相对 Apache httpd 的优点: 1 - 轻量级,同样起web 服务,比apache 占用更少的内存及资源 2 - 抗并发,nginx 处理请求是异步非阻塞的,而apache 则是阻塞型的,在高并发下nginx 能保持低资源低消耗高性能 3 - 高度模块化的设计,编写模块相对简单
阅读全文
摘要:Nginx 流量带宽等请求状态统计 ( ngx_req_status) 插件下载地址: wget http://nginx.org/download/nginx-1.4.2.tar.gz git clone https://github.com/zls0424/ngx_req_status.git
阅读全文
摘要:统计查看文件以及筛选日志 1、*.log 日志文件中 统计独立ip的个数: awk '{print $1}' test.log | sort | uniq | wc -l 2、查询访问最多的前10个ip awk '{print $1}' /access.log | sort | uniq -c |
阅读全文
摘要:日计划 ##### 一、at 一次性计划任务 # yum install at -y # at 23:23 指定当天的时间去执行问题; # at -l 查看计划任务 -c 查看编号任务 -d 删除编号的任务 二、周期性计划任务 ########### 二、周期性计划任务 ########### cr
阅读全文
摘要:crontab 定时执行 任务 crontab 问题: 环境变量延伸:
阅读全文
摘要:内核参数的优化示例: /etc/sysctl.conf
阅读全文
摘要:二、生产环境日志排查统计: 1、 访问最多IP 排序 #!/bin/bashif [ $# -eq 0 ]; then echo "Eroor:please specify logfile." exit 0else LOG=$1fi if [ ! -f $1 ]; then echo "Sorry,
阅读全文
摘要:页面动静分离 后端 调用tomcat 集群 示例:
阅读全文
摘要:nginx 中 FastCGI 参数;主要是在 http 层 ;保证PHP环境的高校运行 主要对PHP用来解析
阅读全文
摘要:Nginx server 模块 nginx 关闭日志;其实就是写入一个无底洞; 清空 占用程序的日志; 直接 rm 删除 导致空间不释放;
阅读全文
摘要:Nginx 下 location模块 可以实现对网页URL进行分析处理
阅读全文
摘要:一种直接直接是配置在 HTTP 下;一种是 配置 localtion /{ proxy_pass 调用 } 一、http 模块配置示例: 二、proxy_pass 调用 方式 反向代理配置 如下: vi proxy.conf
阅读全文
摘要:nginx 负载包括四种: 1、轮询 按照请求时间逐一分配到不同的后端服务器; 2、ip_hash 当调度为ip_hash时;后端服务器调度状态不能是 weight 和 backup 3、fair 是根据 页面大小 和加载时间进行只能的负载;也就是根据响应时间分配;nginx本身不支持fair,需要
阅读全文
摘要:nginx 静态缓存 http 模块配置参考: location 模块 参数解析: 参数解析:
阅读全文
摘要:http { include mime.types; // 主模块;实现对配置文件包含的文件设定,可以减少主配置文件的复杂度; default_type application/octet-stream; // http 的核心模块指令;默认是设置为二进制流;就是当文件类型未定义时使用这种解析;例如不配置PHP时打开PHP文件就是下载; #log_format main...
阅读全文
摘要:nginx 全局配置 #user nobody; # user 主模块 ,指定nginx worker 进程的运行用户组 worker_processes 1; # worker_processes 开启进程数 每个nginx进程平均消耗 10-12内存 (CPU 和内核进程数一样) #error_
阅读全文
摘要:nginx 整理 nginx 配置主要是分为4个部分 1、main 全局设置2、server 主机设置 -- 指定主机与端口3、upstream 负载均衡服务器设置 -- 反向代理设置;4、location URL 匹配特定位置的设置 -- 匹配网页位置; 可以通过location 指令实现对ngi
阅读全文
摘要:Scrapy 是采用Python 开发的一个快速可扩展的抓取WEB 站点内容的爬虫框架。 Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于
阅读全文