12 2017 档案
摘要：1、查看master上当前的oplog状态： >rs.printReplicationInfo() configured oplog size: 5000MBlog length start to end: 587282secs (163.13hrs)oplog first event time:
阅读全文
摘要：1、查询当前所有的索引 #curl 'localhost:9200/_cat/indices?v' 2、查看集群健康状态 #curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用 3
阅读全文
摘要：1、概述 nginx的正向代理，只能代理http、tcp等，不能代理https请求。有很多人不是很理解具体什么是nginx的正向代理、什么是反向代理。下面结合自己的使用做的一个简介： 1）正向代理： 所谓正向代理就是内网服务器主动要去请求外网的地址或服务，所进行的一种行为。内网服务 访问 >外网 2
阅读全文
摘要：nginx代理websocket：NGINX通过允许一个在客户端和后端服务器之间建立的隧道来支持WebSocket。为了NGINX发送来至于客户端Upgrade请求到后端服务器，Upgrade和Connection头部必须被设置明确 map $http_upgrade $connection_upg
阅读全文
摘要：日志分割 场景：日志量比较大，且研发程序没有设置分卷 1、配置样例： 文件路径：/etc/logrotate.d/tomcat /data/logs/catalina.out { daily compress delaycompress copytruncate create 0644 root r
阅读全文
摘要：在生产环境中tomcat内存设置不好很容易出现jvm内存溢出。 1、 linux下的tomcat： 修改TOMCAT_HOME/bin/catalina.sh 位置cygwin=false前。 JAVA_OPTS="-server -Xms256m -Xmx512m -XX:PermSize=64M
阅读全文
摘要：1、概述 logstash是有java语言写的，所以程序占用系统资源比较多。但是支持grok正则，这是特别强大的。 2、安装 参考：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html yum安装： inp
阅读全文
摘要：1、概述 filebeat使用go语言开发，轻量级、高效。主要由两个组件构成：prospector和harvesters。 Harvesters负责进行单个文件的内容收集，在运行过程中，每一个Harvester会对一个文件逐行进行内容读取，并且把读写到的内容发送到配置的output中。 Prospe
阅读全文
摘要：1、mongotop #mongotop -h 127.0.0.1:27017 -u test -p test123 --authenticationDatabase admin 输出说明： ns：包含数据库命名空间，后者结合了数据库名称和集合。 db：包含数据库的名称。名为 . 的数据库针对全局锁
阅读全文
摘要：一、概述 Superset使用Flask-Cache进行缓存，Flask-Cache支持redis，memcached，simplecache（内存），或本地文件系统）等缓存后端，如果你打算使用memcached，就需要使用memcached服务器作为后端，如果你打算使用redis，就需要安装pyt
阅读全文
摘要：1、hive的partition的相关查询，由于presto不支持vachar和int的自动转换，所以使用where的时候需要手动转换一下。 #select count(*) from userlogs where date=date'2017-12-11';
阅读全文
摘要：1、通过抓包大致确定访问量 #time tcpdump -nn -i eth0 'tcp[tcpflags] = tcp-syn' -c 10000 >/dev/null 根据real时间判断访问量，如果这个值很小，说明访问量比较大。 2、通过tcpdump抓包分析Ethernet-ip-tcp-u
阅读全文
摘要：1、maven私服 nexus 使用docker部署,下载最新的image #docker pull sonatype/nexus3 #cat docker-compose.yml version: '2'services: nexus: image: sonatype/nexus3 contain
阅读全文
摘要：1、概述 superset大数据可视化的利器，深度集成durid，结合kylin、presto完成强大的大数据可视化功能，曾用名Panoramix、caravel。相比caravel它有个比较抢眼的功能SQL lab。具体可参考官方文档 2、安装 提前在10.0.2.245服务器上面部署好redis
阅读全文
摘要：1、安装openvpn 1）安装需要的依赖，需要用到epel源 #yum -y install epel-release 修改epel.repo文件enabled=1 #yum install easy-rsa openssh-server lzo openssl openssl-devel ope
阅读全文
摘要：1、找出当前目录下超过90天的文件，并将其打包： 思路：首先找到所有符合条件的文件名，并输出到一个文件里面。然后使用tar进行打包，-T 参数是从一个文件获取文件名，然后将文件打包，最后删除已经打包过的文件。 #find . -type f -mtime +90 >file.lst #tar -T
阅读全文
