10 2016 档案

摘要:在使用vector的过程中,经常会遇到以下场景 可是使用clear释放vector内存有是问题的,可参考c++标准: clear只是将vector的size置零,可是并不保证capacity为零,因此clear并不能释放vector已经申请的内存。可使用vector<T>().swap(x)完成释放 阅读全文
posted @ 2016-10-25 15:56 后端技术小屋 阅读(5653) 评论(0) 推荐(0) 编辑
摘要:因为工作关系,需要经常从线上机器上拉取数据,于是想着能否写个脚本,自动完成这个任务呢? 我一般使用scp在机器间传输文件,然而每次scp都需要输入密码,自动化脚本怎么解决这个问题呢?于是expect这款好用的交互工具就登场了。 安装: rhel6.6下 yum install -y expect 使 阅读全文
posted @ 2016-10-24 15:28 后端技术小屋 阅读(200) 评论(0) 推荐(0) 编辑
摘要:#!/usr/local/bin/python import redis ... 阅读全文
posted @ 2016-10-12 19:52 后端技术小屋 阅读(664) 评论(0) 推荐(0) 编辑
摘要:最近有一个hadoop集群上的备份需求。源文件有几百G,如果直接复制太占用磁盘空间。将文件从hadoop集群下载到本地,压缩之后再上传到hadoop则太耗时间。于是想到能否直接在HDFS文件系统上进行压缩和解压。 经过粗略的了解,使用pig脚本可轻松的实现以上目标。 压缩 解压 阅读全文
posted @ 2016-10-11 19:01 后端技术小屋 阅读(707) 评论(0) 推荐(0) 编辑
摘要:boost中可以用boost::interprocess::file_lock类对文件进行加锁和解锁操作。 为了避免作用域退出时,忘了解锁引发错误,可使用boost::interprocess::lock_guard。 阅读全文
posted @ 2016-10-11 14:15 后端技术小屋 阅读(3249) 评论(0) 推荐(0) 编辑