fengjian1585 - 博客园

2016年12月

摘要： vim /usr/lib/systemd/system/docker.service ExecStart=/usr/bin/docker daemon --bip=172.18.42.1/16 --registry-mirror=http://f71f084d.m.daocloud.io --reg 阅读全文

posted @ 2016-12-19 21:45 fengjian1585 阅读(716) 评论(0) 推荐(0) 编辑

flume 配置

摘要： [root@dtpweb data]#tar -zxvf apache-flume-1.7.0-bin.tar.gz[root@dtpweb conf]# cp flume-env.sh.template flume-env.sh 修改java_home[root@dtpweb conf]# cp 阅读全文

posted @ 2016-12-19 19:13 fengjian1585 阅读(476) 评论(0) 推荐(0) 编辑

CentOS 7 安装字体库 & 中文字体

摘要：前言报表中发现有中文乱码和中文字体不整齐（重叠）的情况，首先考虑的就是操作系统是否有中文字体，在CentOS 7中发现输入命令查看字体列表是提示命令无效：如上图可以看出，不仅没有中文字体，连字体库都没有，那么接下来就记录一下在Linux CentOS 7中如何安装字体库以及中文字体。安装字体库阅读全文

posted @ 2016-12-05 15:18 fengjian1585 阅读(625) 评论(0) 推荐(0) 编辑

2016年11月

centos7 web服务器内核优化

摘要： #对于一个新建连接，内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255，默认值是5，对应于180秒左右时间 net.ipv4.tcp_syn_retries=2 #net.ipv4.tcp_synack_retries=2 #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为300秒 net.ipv4.tcp_k... 阅读全文

posted @ 2016-11-29 16:32 fengjian1585 阅读(694) 评论(0) 推荐(0) 编辑

hive 搭建

摘要： Hive hive是简历再hadoop上的数据库仓库基础架构，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储，查询和分析存储再hadoop种的大规模数据机制，hive定义了简单的类sql查询语音，称为QL，它允许熟悉sql的用户查询数据，同时，这个语言也允许熟悉ma 阅读全文

posted @ 2016-11-22 17:33 fengjian1585 阅读(427) 评论(0) 推荐(0) 编辑

varnish4.1 配置文件default.vcl

摘要： varnish4.1 配置文件default.vcl 阅读全文

posted @ 2016-11-22 15:49 fengjian1585 阅读(1113) 评论(0) 推荐(0) 编辑

varsh4.1 安装清除cache

摘要： yum install automake autoconf ncurses-devel libxslt groff pkgconfig python-docutils readline-devel -yyum install gcc gcc-c++ make openssl-devel pcre-d 阅读全文

posted @ 2016-11-22 15:34 fengjian1585 阅读(193) 评论(0) 推荐(0) 编辑

jvm 配置

摘要： # 内存参数MEMORY_OPTS="-Xms2048m -Xmx2048m -Xmn1024m -XX:MaxDirectMemorySize=2048m -XX:PermSize=256m -XX:MaxPermSize=512m"# 性能参数# -XX:+PerfDisableSharedMe 阅读全文

posted @ 2016-11-22 15:21 fengjian1585 阅读(445) 评论(0) 推荐(0) 编辑

centos7作为web服务器优化

摘要： centos7作为web服务器优化原文 http://itindex.net/detail/51140-centos7-web-服务器 1、加大打开文件数的限制（open files）查看 ulimit -nulimit -a vi /etc/security/limits.conf最后添加 * 阅读全文

posted @ 2016-11-22 14:48 fengjian1585 阅读(2660) 评论(0) 推荐(0) 编辑

centos7优化内核参数详解

摘要： cat /etc/sysctl.conf #CTCDN系统优化参数 #关闭ipv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 # 避免放大攻击 net.ipv4.icmp_echo_ignore 阅读全文

posted @ 2016-11-22 14:48 fengjian1585 阅读(993) 评论(0) 推荐(0) 编辑

varnish4.0 流程图以及说明

摘要： backend fdfs_g1_s1 { .host = "192.168.20.151"; .port = "8080"; .probe = { .url = "/"; .timeout = 1s; .interval = 10s; .window = 5; .threshold = 2; }} 阅读全文

posted @ 2016-11-21 17:27 fengjian1585 阅读(1294) 评论(0) 推荐(0) 编辑

svn 架设

摘要： 1.yum -y install openssl-devel httpd httpd-devel subversion mod_dav_svn mod_auth_mysql 验证安装 2. cd /data/svn 3. svnadmin create remote 4. 编辑conf 下 auth 阅读全文

posted @ 2016-11-21 14:36 fengjian1585 阅读(159) 评论(0) 推荐(0) 编辑

HBASE基础知识

摘要： HBASE的集群的搭建HBASE的表设计HBASE的底层存储模型 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式缓存系统、利用HBase 技术可在廉价PC Server上搭建起大规模结构化存储集群HBase利用hadoop hdfs作为起文件存储系统，利用hadoop mapreduce来阅读全文

posted @ 2016-11-17 14:16 fengjian1585 阅读(1421) 评论(0) 推荐(0) 编辑

Portal 设置

摘要： nodatas 设置agent 状态,其采集指标 agent.alive 上报中断时，通知用户。 hostgroups设置模版设置阅读全文

posted @ 2016-11-16 15:10 fengjian1585 阅读(247) 评论(0) 推荐(0) 编辑

数据迁移工具sqoop

摘要：有问题。。。。。。。。数据迁移工具sqoop sqoop安装 [root@sqoop data]# wget wget http://apache.fayea.com/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz [root@sqoop 阅读全文

posted @ 2016-11-15 19:02 fengjian1585 阅读(449) 评论(0) 推荐(0) 编辑

hdfs shell 命令以及原理

摘要： shell 操作 dfs 上传[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -put /opt/MegaRAID/MegaCli/MegaCli64 hdfs://ns1/MegaCli或者[hadoop@namenode ~]$ /data/had 阅读全文

posted @ 2016-11-14 15:14 fengjian1585 阅读(749) 评论(0) 推荐(0) 编辑

haproxy学习之https配置

摘要： haproxy学习之https配置原文 http://www.cnblogs.com/ilanni/p/4941056.html 原文 http://www.cnblogs.com/ilanni/p/4941056.html 如何配置https，以及https在实际生产环境中的应用。本实验全部在阅读全文

posted @ 2016-11-10 10:34 fengjian1585 阅读(400) 评论(0) 推荐(0) 编辑

centos7 搭建GlusterFS

摘要： centos7 搭建GlusterFS 转载http://zhaijunming5.blog.51cto.com/10668883/1704535 实验需求：4台机器安装GlusterFS组成一个集群 4个节点的硬盘空间不整合成一个硬盘空间，要求每个节点都存储一份，保证数据安全环境规划server 阅读全文

posted @ 2016-11-03 09:34 fengjian1585 阅读(621) 评论(0) 推荐(0) 编辑

2016年10月

tomcat 格式化输出到kafka

摘要： cat /data/tomcat/conf/server.xml <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="localhost_access_log" suffix=". 阅读全文

posted @ 2016-10-21 18:09 fengjian1585 阅读(1282) 评论(0) 推荐(0) 编辑

mogodb监控脚本

摘要： mongodb_server.py monodb_monitor.py 阅读全文

posted @ 2016-10-21 11:47 fengjian1585 阅读(708) 评论(0) 推荐(0) 编辑

监控redis python脚本

摘要： #!/bin/env python #-*- coding:utf-8 -*- import json import time import socket import os import re import sys import commands import urllib2, base64 import requests class RedisStats: redis_cli =... 阅读全文

posted @ 2016-10-19 22:32 fengjian1585 阅读(2680) 评论(0) 推荐(1) 编辑

pip install 安装python-requests

摘要： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple python-requests 阅读全文

posted @ 2016-10-19 16:01 fengjian1585 阅读(399) 评论(0) 推荐(0) 编辑

tomcat，zookeeper，activeMQ，Kafka设置jvm参数

摘要： 1，tomcat设置jvm参数设置方法：在tomcat bin 目录增加配置：setenv.sh #add tomcat pid CATALINA_PID="$CATALINA_BASE/conf/tomcat.pid" #add java opts JAVA_OPTS=" -Djava.awt 阅读全文

posted @ 2016-10-10 12:20 fengjian1585 阅读(2879) 评论(0) 推荐(0) 编辑

zookeeper清除事物日志

摘要： dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/log zk事物日志（快照）存放目录，高负荷工作的时候，会产生大量的日志，需要进行日志清理。如果不配置dataLogDir,事物日志和数据都会记录到/data/zookeeper/dat 阅读全文

posted @ 2016-10-10 12:17 fengjian1585 阅读(1178) 评论(0) 推荐(0) 编辑

hadoop_elk架构图

摘要：阅读全文

posted @ 2016-10-10 10:49 fengjian1585 阅读(1520) 评论(0) 推荐(1) 编辑

kibana 使用

摘要：统计IP前五的数据统计相应时间状态码统计统计IP地图阅读全文

posted @ 2016-10-07 00:04 fengjian1585 阅读(2469) 评论(0) 推荐(0) 编辑

varnish 隐藏版本号

摘要： varnish 隐藏方法：修改default.vcl配置文件。找到或添加 vcl_deliver 子程序，代码如下： 1 2 3 4 5 sub vcl_deliver { unset resp.http.Via; //varnish 默认显示版本信息 unset resp.http.X-Var 阅读全文

posted @ 2016-10-06 23:28 fengjian1585 阅读(850) 评论(0) 推荐(0) 编辑

logstash插件

摘要： codec 插件 goeip插件 input ｛ file ｛ path => ["/data/nginx/logs/access.log"] type =>"type" start_position => "end" codec => json ｝｝ filter { geoip { sourc 阅读全文

posted @ 2016-10-06 23:12 fengjian1585 阅读(216) 评论(0) 推荐(0) 编辑

2016年9月

logstash redis kafka传输 haproxy日志

摘要： logstash 客户端收集 haproxy tcp日志 input { file { path => "/data/haproxy/logs/haproxy_http.log" start_position => "beginning" type => "haproxy_http" } file 阅读全文

posted @ 2016-09-29 14:05 fengjian1585 阅读(1429) 评论(0) 推荐(0) 编辑

jenkins配置邮件

摘要： 1.安装 Email Extension Plugin 插件 2.进入系统管理--系统设置 3.按照如下图设置首先找到 Extended E-mail Notification 阅读全文

posted @ 2016-09-28 10:09 fengjian1585 阅读(160) 评论(0) 推荐(0) 编辑

gitlab 安装

摘要： GitLab的安装方式 GitLab的两种安装方法: 编译安装优点：可定制性强。数据库既可以选择MySQL,也可以选择PostgreSQL;服务器既可以选择Apache，也可以选择Nginx。缺点：国外的源不稳定，被墙时，依赖软件包难以下载。配置流程繁琐、复杂，容易出现各种各样的问题。依赖关系多阅读全文

posted @ 2016-09-26 10:26 fengjian1585 阅读(620) 评论(0) 推荐(0) 编辑

nginx json 格式输出

摘要： log_format logstash_json '{ "@timestamp": "$time_local", ' '"@fields": { ' '"remote_addr": "$remote_addr", ' '"remote_user": "$remote_user", ' '"body_ 阅读全文

posted @ 2016-09-25 10:49 fengjian1585 阅读(1896) 评论(0) 推荐(0) 编辑

yum下载rpm

摘要： yum下载rpmyum update --downloadonly --downloaddir=/root/rpm_package/ python-pip 阅读全文

posted @ 2016-09-22 15:57 fengjian1585 阅读(128) 评论(0) 推荐(0) 编辑

git 使用

摘要： 317 git commit -m "add txt" 318 git push -u origin 319 ls 320 cd configserver/ 340 git fetch 是不变的 341 ls 342 git status 查看所有状态 343 git branch -r 查看所有分支 344 pull = ... 阅读全文

posted @ 2016-09-22 15:55 fengjian1585 阅读(225) 评论(0) 推荐(0) 编辑

codis配置

摘要： codis集群配置 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数阅读全文

posted @ 2016-09-21 11:03 fengjian1585 阅读(1169) 评论(0) 推荐(0) 编辑

mongodb sharding配置

摘要： mongodb集群配置 1 Mongo使用sharding集群 mongodb副本集群 mongos1 192.168.20.137 mongos2 192.168.20.138 mongo_config1 192.168.20.139 mongo_config2 192.168.20.129 mo 阅读全文

posted @ 2016-09-21 10:49 fengjian1585 阅读(818) 评论(0) 推荐(0) 编辑

使用curl命令操作elasticsearch

摘要：使用curl命令操作elasticsearch 大岩不灿发表于 2015年4月25日浏览 7,426 次第一：_cat系列_cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行curl -XGET localhost:9200/_cat获取所有_cat系列的操作= 阅读全文

posted @ 2016-09-13 17:49 fengjian1585 阅读(1422) 评论(0) 推荐(0) 编辑

Elasticsearch + logstash + kibana 配置

摘要： Elasticsearch 配置 Elasticsearch不仅仅是Lucene和全文搜索，我们还能这样去描述它：分布式的实时文件存储，每个字段都被索引并可被搜索分布式的实时分析搜索引擎可以扩展到上百台服务器，处理PB级结构化或非结构化数据 Elastic Search git clone h 阅读全文

posted @ 2016-09-13 14:01 fengjian1585 阅读(2625) 评论(0) 推荐(0) 编辑

Solr6.2.0 + zookeeper 集群配置

摘要： zookeeper1 : 192.168.1.103zookeeper2 : 192.168.1.104zookeeper3 : 192.168.1.105solr1 : 192.168.1.106solr2 : 192.168.1.107solr3 : 192.168.1.108 JDK安装目录：阅读全文

posted @ 2016-09-09 22:55 fengjian1585 阅读(3608) 评论(0) 推荐(0) 编辑

Elasticsearch + logstash中文指南

摘要： http://kibana.logstash.es/content/logstash/examples/nginx-access.html http://es.xiaoleilu.com/030_Data/10_Index.html 阅读全文

posted @ 2016-09-09 21:23 fengjian1585 阅读(967) 评论(0) 推荐(0) 编辑

公告