摘要：
1、安装openvpn 1）安装需要的依赖，需要用到epel源 #yum -y install epel-release 修改epel.repo文件enabled=1 #yum install easy-rsa openssh-server lzo openssl openssl-devel ope 阅读全文
摘要：
1、找出当前目录下超过90天的文件，并将其打包： 思路：首先找到所有符合条件的文件名，并输出到一个文件里面。然后使用tar进行打包，-T 参数是从一个文件获取文件名，然后将文件打包，最后删除已经打包过的文件。 #find . -type f -mtime +90 >file.lst #tar -T 阅读全文
摘要：
1、redis之flushall、flushdb‘尴尬’操作恢复 redis是基于内存的一种高效数据库，在内存中高效但是不安全，重启和断电都会导致数据丢失。所以就需要用到数据的持久化，redis有两种持久化的方式：AOF和RDB，AOF是将所有执行的命令记录在appendonly.aof文件中，可能 阅读全文
摘要：
1、概述 spark有两种调度模式：FIFO、FAIR。FIFO是先进先出，有很强的顺序性，只有前一个处理完成后才会去处理后进来的。FAIR是公平调度，通过配置进行控制优先执行的任务。spark默认使用FIFO模式，如果应用场景里面有很多比较大的查询、也有很多小的查询，此时建议使用FAIR模式可以先 阅读全文
摘要：
1、概述 Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。presto可以通过使用分布式查询，可以快速高效的完成海量数据的查询。它是完全基于内存的，所以速度非常快。presto不仅可以查询HDFS，还可以查询RDMBS数据库。 具体的介绍可以参考官方：http 阅读全文
摘要：
1、概述 tmpfs是ramfs的衍生品，ramfs是基于RAM的文件系统，不能使用swap空间；tmpfs可以动态释放空间、可以使用swap空间。ramfs不能控制使用内存的大小容易使内存爆掉；而tmpfs可以在mount的时候指定size来控制使用内存的大小，不会导致系统崩溃。tmapfs是存储 阅读全文
摘要：
一、概述 1、Rsync+Sersync 是什么？ 1）Sersync使用c++编写基于inotify开发的触发机制； 2）Sersync可以监控所监听的目录发生的变化（包括新建、修改、删除），具体到一个文件名或目录名，然后触发rsync同步，只同步发生改变的文件或目录。如果只是目录下的文件发生变化 阅读全文
摘要：
Jenkins node创建 1、jenkins搭建参考我的另外一篇文章： http://www.cnblogs.com/cuishuai/p/7544775.html 2、搭建完成后登录，选择Manage Jenkins 接下来进入管理界面，选择Manage Nodes： 选择New Node创建 阅读全文
摘要：
elasticdump备份elasticsearch里面的某个索引数据 1、 安装环境 需要node、npm、yarn # 去官方下载最新版本的nodejs #wget https://nodejs.org/dist/v6.10.2/node-v6.10.2-linux-x64.tar.xz --n 阅读全文
摘要：
#!/usr/bin/env python# -- coding:utf-8 -- import osimport sysfrom subprocess import call from pyspark import SparkContext, SparkConffrom pyspark.sql i 阅读全文