摘要： 设计自用的golang日志模块 golang的原生日志模块不能满足需求，而开源的第三方包，也不完全够用。用户较多的logrus，却没有rotate功能，这已经是众所周知的。对于运维来说，当然是希望日志的处理中比较简单、实用、够用。不需要额外的通过系统来实现logrotate。 1、需求 从需求方面来 阅读全文

摘要： 一、起因 golang出了最新的1.10版本，而刚出的vgo也是需要基于该最新版本的。为了测试vgo，因此需要将我的v1.9升级到v1.10版本。 安装过golang的同学都知道，golang常用的有2种安装方式。 直接安装官方编译好的包。比如下载go1.7.4.darwin amd64.tar.g 阅读全文

摘要： hadoop 2.7.3伪分布式模式运行wordcount 基本环境： 系统：win7 虚机环境：virtualBox 虚机：centos 7 hadoop版本：2.7.3 本次以伪分布式模式来运行wordcount。 参考： "hadoop docs" ​ 1 hadoop环境 伪分布式就是将多个 阅读全文

摘要： 接上篇《 "hadoop 2.7.3本地环境运行官方wordcount" 》。继续在本地模式下测试，本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件系统。现在使用hadoop fs。在本地模式下，hadoop fs其实也是使用的linux的fs。下面示 阅读全文

摘要： hadoop 2.7.3本地环境运行官方wordcount 基本环境： 系统：win7 虚机环境：virtualBox 虚机：centos 7 hadoop版本：2.7.3 本次先以独立模式（本地模式）来运行。 参考： "hadoop docs" ​ 1 hadoop 安装 java环境 hadoo 阅读全文

摘要： 使用packer制作vagrant box：centos 制作vagrant box，网上有教程，可以自己step by step的操作。不过直接使用虚拟在VirtualBox中制作vagrant box非常的费劲。网上有操作debian/ubuntu相关的文章，放2篇在这里供参考： "英文 How 阅读全文

摘要： 下面先总结遇到的问题，这些问题如果你也遇到，可能需要搜索很多次才能找到原因。 如果想看安装过程，可以先直接跳到后面第二部分部分。 1 问题汇总： 1.1 vagrant版本过高问题。 vagrant 1.8.7版本存在问题。可以搜索："vagrant 1.8.7 cant download box" 阅读全文

摘要： 提供并发控制脚本，并解释其原理 阅读全文

摘要： dup2的函数定义为：#include int dup2(int src_fd, int new_fd);自己实现dup2函数有几个关键点：1，检查给定的源fd是否有效，且都大于0，2，检查目标fd是否超出了系统设定的范围，而这个值在书上是没有着重指出的， 比如mac限制了要小于256，ubunt... 阅读全文

摘要： 在mac及ubuntu下测试使用fcntl打开O_SYNC功能。 阅读全文