特别的字节对齐问题
摘要：
有如下一个结构体：struct X{ uint32_t a; char* b[0];};sizeof(X)的值为多少了？关键点：数组维度为0的成员不参与，但是它的类型参与。注：在x86_64上“char*”的algin值为8，x86上为4。... 阅读全文
posted @ 2017-06-06 16:28 #蓝天 阅读(124) 评论(0) 推荐(0) 编辑
2017年6月6日 #
2017年5月27日 #
HBase thrift2 TIOError
摘要：
如果HBase thrift2报：“TIOError exception: Default TException”，这个可能是因为操作的表不存在，不一定是网络或磁盘操作异常。HBase Thrift2偷懒了，所有异常被统一成了TIOError和TIllegalArgu... 阅读全文
posted @ 2017-05-27 17:37 #蓝天 阅读(789) 评论(0) 推荐(0) 编辑
2017年5月24日 #
通用的进程监控脚本process_monitor.sh使用方法
摘要：
不用做任何修改，即可用process_monitor.sh监控各种进程。 源码下载：https://github.com/eyjian/libmooon/blob/master/shell/process_monitor.sh。 使用之前，请给process_monitor.sh带上可执行权限，不带 阅读全文
posted @ 2017-05-24 09:24 #蓝天 阅读(1517) 评论(0) 推荐(0) 编辑
2017年5月23日 #
Linux批量远程命令和上传下载工具
摘要：
https://github.com/eyjian/mooon/releases/tag/mooon-toolsmooon_ssh：批量远程命令工具，在多台机器上执行指定命令mooon_upload：批量远程上传工具，上传单个或多个文件到单台或多台机器mooon_do... 阅读全文
posted @ 2017-05-23 16:13 #蓝天 阅读(667) 评论(0) 推荐(0) 编辑
2017年5月19日 #
强制DataNode向NameNode上报blocks
摘要：
正常情况下，什么时候上报blocks，是由NameNode通过回复心跳响应的方式触发的。一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，... 阅读全文
posted @ 2017-05-19 10:26 #蓝天 阅读(655) 评论(0) 推荐(0) 编辑
HDFS块文件和存放目录的关系
摘要：
详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g... 阅读全文
posted @ 2017-05-19 09:30 #蓝天 阅读(735) 评论(0) 推荐(0) 编辑
2017年5月4日 #
Failed to place enough replicas
摘要：
如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：2017-05-04 16:08:22,545 WARN org.apache.... 阅读全文
posted @ 2017-05-04 17:00 #蓝天 阅读(2694) 评论(0) 推荐(0) 编辑
2017年4月30日 #
Hadoop-2.8.0分布式安装手册
摘要：
目录目录 11. 前言 32. 特性介绍 33. 部署 53.1. 机器列表 53.2. 主机名 53.2.1. 临时修改主机名 63.2.2. 永久修改主机名 63.3. 免密码登录范围 73.4. 修改最大可打开文件数 73.5. OOM相关：vm.overcom... 阅读全文
posted @ 2017-04-30 14:26 #蓝天 阅读(696) 评论(0) 推荐(0) 编辑
2017年4月28日 #
高性能高可用的分布式唯一ID服务——mooon-uniq-id
摘要：
目录目录 11. 前言 12. 名词 13. 功能 14. 唯一性原理 25. 系统结构 25.1. mooon-uniq-agent 25.2. mooon-uniq-master 26. 限制 37. 核心思想 48. 编译&安装 49. 启动&运行 510. 编... 阅读全文
posted @ 2017-04-28 08:52 #蓝天 阅读(339) 评论(0) 推荐(0) 编辑
2017年4月18日 #
Python安装setuptools遇到的MARKER_EXPR错误
摘要：
# python setup.py installTraceback (most recent call last): File "setup.py", line 11, in import setuptools File "/home/zhangsan/... 阅读全文
posted @ 2017-04-18 12:22 #蓝天 阅读(388) 评论(0) 推荐(0) 编辑
