随笔分类 - linux/docker/kafka
摘要：需求： 同步某个目录下所有的图片（*.jpg），该目录下有很多其他的文件，但只想同步*.jpg的文件。 rsync 有一个--exclude 可以排除指定文件，还有个--include选项的作用正好和--exclude相反。 那直接使用--include="*.jpg"是否可以呢？ rsync -a
阅读全文
摘要：本文介绍了如何在shell中读写mysql数据库。主要介绍了如何在shell 中连接mysql数据库，如何在shell中创建数据库，创建表，插入csv文件，读取mysql数据库，导出mysql数据库为xml或html文件， 并分析了核心语句。本文介绍的方法适用于PostgreSQL ，相对mysql
阅读全文
摘要：如果用传统SCP远程拷贝，速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。 你PV 全命为Pipe Viewer，利用它
阅读全文
摘要：背景介绍： 目前项目在美国东西部以及欧洲都有服务器节点，跨互联网的数据传输速度很不稳定，之前我们主要是通过SCP以及Rsync等方式进行数据传输的。 无意间发现了BBCP这个软件之后，经过测试，效果非常好，速度提升效果很明显，并且传输速度一直比较稳定，同时支持日志以及失败后重试等参数，非常不错。 参
阅读全文
摘要：关于rsync的断点续传 关于rsync的断点续传经常copy大文件，由于服务器、路由等网络的不确定性，老是出现remote server not responding.于是查了下资料，发现rsync这个工具支持断点续传功能，这里介绍一下。rsync也分服务器端和客户端，使用man查看帮助信息，我们
阅读全文
摘要：刚 在qq群里面一位仁兄问到文件压缩的命令，平时工作中大多用解压缩命令，要是遇到压缩就现查（这不是一个好习惯），于是整理下Linux下创建与解压 zip、tar、tar.gz和tar.bz2文件及他们之间压缩率对比，在自己的脑袋内存空间有限又不经常使用的时候以便于备忘。现整理如下： 目前Linux下
阅读全文
摘要：问题rsync用来同步数据非常的好用，特别是增量同步。但是有一种情况如果不增加特定的参数就不是很好用了。比如你要同步多个几十个G的文件，然后网络突然断开了一下，这时候你重新启动增量同步。但是发现等了好久都没有进行数据传输，倒是机器的IO一直居高不下。原因rsync具体的增量同步算法不太清楚。根据它的...
阅读全文
摘要：如果你为每个文件按日期命名的格式都一致的话，那么 "ls -l" 命令列出的文件列表就是默认按文件名称（日期先后）排序的。那么最后一个就是最新的，文件名可以用以下方式获取。filename=`ls -l | tail -n 1 | awk '{print $9}'` http://zhidao.ba...
阅读全文
摘要：yum install sysstat sar -n { DEV | EDEV | NFS | NFSD | SOCK | ALL } sar 提供六种不同的语法选项来显示网络信息。-n选项使用6个不同的开关：DEV | EDEV | NFS | NFSD | SOCK | ALL .DEV显示网络...
阅读全文
摘要：很常见的情况：我想同步/myweb下的 一些php文件 ， 但是不想复制/myweb/log/里边的一些日志文件，因为这些文件太大了，备份也是没有意义的。 现在如果想避开某个路径 直接添加—exclude 即可 比如—exclude “./log” –exclude ‘./log/file’Note...
阅读全文
摘要：1、关闭所有的 INPUT FORWARD OUTPUT 只对某些端口开放。下面是命令实现：iptables -P INPUT DROPiptables -P FORWARD DROPiptables -P OUTPUT DROP再用命令 iptables -L -n 查看 是否设置好， 好看到全...
阅读全文
摘要：1.限制与80端口连接的IP最大连接数为10，可自定义修改。代码如下复制代码iptables -I INPUT -p tcp --dport 80 -m connlimit --connlimit-above 10 -j DROP2.使用recent模块限制同IP时间内新请求连接数，recent更多...
阅读全文
摘要：原贴:http://203.208.37.104/search?q=cache:p1vAAHvs9ikJ:www.goldthe.com /blog/%3Faction%3Dshowlog%26gid%3D158+linux+date+hwclock+%E5%8C%BA%E5%88%AB&hl=zh...
阅读全文
摘要：cat -n 139.sql |grep "kkkn" sed -n '697804,697812p' 139.sql
阅读全文
摘要：一、crond简介crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似， 当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务， 则自动执行该任务。...
阅读全文
摘要：禁止端口的实例 只允许在192.168.62.1上使用ssh远程登录，从其它计算机上禁止使用ssh#iptables -A INPUT -s 192.168.62.1 -p tcp --dport 22 -j ACCEPT#iptables -A INPUT -p tcp --dport 22 -j...
阅读全文
摘要：VNC is used to display an X windows session running on another computer. Unlike a remote X connection, the xserver is running on the remote computer, ...
阅读全文
摘要：写法一：#!/bin/bashwhile read linedoecho $linedone < file(待读取的文件)写法二： #!/bin/bashcat file(待读取的文件) | while read linedoecho $linedone写法三：for line in `cat fi...
阅读全文
摘要：:set nu 带行号查看，并不改变文件内容:set nonu 取消带行号查看在每个用户的主目录下,都有一个 vi 的配置文件".vimrc"或".exrc"用户可以编辑它,使这些设置在每次启动 vi 时,都有效.例如,加入如下设置行:set nu 显示行号set nonu 不显示行号 /取消行号s...
阅读全文
摘要：grep-c 只打印匹配模式的行编号记数-I 在匹配文本时忽略大小写-n 在每行前显示其行编号-v 逆向输出，打印不匹配的行-f file 要匹配的字符串列表在filezhonggrep ‘[Tt]his’ file1.txt 设置大小写grep ‘^[^#]‘ file2.txt 不匹配行首gre...
阅读全文