摘要: 在使用vector的过程中,经常会遇到以下场景 可是使用clear释放vector内存有是问题的,可参考c++标准: clear只是将vector的size置零,可是并不保证capacity为零,因此clear并不能释放vector已经申请的内存。可使用vector<T>().swap(x)完成释放 阅读全文
posted @ 2016-10-25 15:56 后端技术小屋 阅读(5653) 评论(0) 推荐(0) 编辑
摘要: 因为工作关系,需要经常从线上机器上拉取数据,于是想着能否写个脚本,自动完成这个任务呢? 我一般使用scp在机器间传输文件,然而每次scp都需要输入密码,自动化脚本怎么解决这个问题呢?于是expect这款好用的交互工具就登场了。 安装: rhel6.6下 yum install -y expect 使 阅读全文
posted @ 2016-10-24 15:28 后端技术小屋 阅读(200) 评论(0) 推荐(0) 编辑
摘要: #!/usr/local/bin/python import redis ... 阅读全文
posted @ 2016-10-12 19:52 后端技术小屋 阅读(664) 评论(0) 推荐(0) 编辑
摘要: 最近有一个hadoop集群上的备份需求。源文件有几百G,如果直接复制太占用磁盘空间。将文件从hadoop集群下载到本地,压缩之后再上传到hadoop则太耗时间。于是想到能否直接在HDFS文件系统上进行压缩和解压。 经过粗略的了解,使用pig脚本可轻松的实现以上目标。 压缩 解压 阅读全文
posted @ 2016-10-11 19:01 后端技术小屋 阅读(707) 评论(0) 推荐(0) 编辑
摘要: boost中可以用boost::interprocess::file_lock类对文件进行加锁和解锁操作。 为了避免作用域退出时,忘了解锁引发错误,可使用boost::interprocess::lock_guard。 阅读全文
posted @ 2016-10-11 14:15 后端技术小屋 阅读(3245) 评论(0) 推荐(0) 编辑
摘要: fcntl可实现对指定文件描述符的各种操作,其函数原型如下: 其中,操作类型由cmd决定。cmd可取如下值: F_DUPFD:复制文件描述符 F_DUPFD_CLOEXEC:复制文件描述符,新文件描述符被设置了close-on-exec F_GETFD:读取文件描述标识 F_SETFD:设置文件描述 阅读全文
posted @ 2016-09-30 16:16 后端技术小屋 阅读(13923) 评论(0) 推荐(0) 编辑
摘要: logrotate是linux自带的日志管理工具。服务器如果不对日志进行滚动操作,单个日志文件的增长速度极快,不利于日志查找和问题定位。而logrotate能够自动完成日志的截断、压缩和滚动操作。 安装:系统自带,无需安装 配置 编写配置文件: create: 滚动之后, 会重新touch原文件 d 阅读全文
posted @ 2016-09-30 13:53 后端技术小屋 阅读(1792) 评论(0) 推荐(0) 编辑
摘要: supervisor是python写的进程管理工具,supervisor能够批量对进程执行启动,停止,重启等操作,有效提高了运维效率。注意supervisor只能管理前台进程,supervisor会自动将该进程转为守护进程。 安装 配置 打开/etc/supervisord.conf文件,增加以下两 阅读全文
posted @ 2016-09-29 22:22 后端技术小屋 阅读(365) 评论(0) 推荐(0) 编辑
摘要: 环境:rhel6.6 安装: 安装依赖包 将高版本g++(4.8以上)取代rhel6.6自带的低版本g++ 配置编译环境 编译mesos 启动 接下来就是编写framework执行任务了,留待下回分解 阅读全文
posted @ 2016-09-29 22:03 后端技术小屋 阅读(2158) 评论(0) 推荐(0) 编辑
摘要: 更多精彩内容,请扫码关注微信公众号:后端技术小屋 std::atomic_flag std::atomic_flag是一个原子的布尔类型,可支持两种原子操作: test_and_set, 如果atomic_flag对象被设置,则返回true; 如果atomic_flag对象未被设置,则设置之,返回f 阅读全文
posted @ 2016-09-27 21:18 后端技术小屋 阅读(66017) 评论(0) 推荐(3) 编辑