#蓝天 - 博客园

强制DataNode向NameNode上报blocks

摘要：正常情况下，什么时候上报blocks，是由NameNode通过回复心跳响应的方式触发的。一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，... 阅读全文

posted @ 2017-05-19 10:26 #蓝天阅读(669) 评论(0) 推荐(0) 编辑

摘要：详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g... 阅读全文

posted @ 2017-05-19 09:30 #蓝天阅读(739) 评论(0) 推荐(0) 编辑

摘要：如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：2017-05-04 16:08:22,545 WARN org.apache.... 阅读全文

posted @ 2017-05-04 17:00 #蓝天阅读(2731) 评论(0) 推荐(0) 编辑

摘要：目录目录 11. 前言 32. 特性介绍 33. 部署 53.1. 机器列表 53.2. 主机名 53.2.1. 临时修改主机名 63.2.2. 永久修改主机名 63.3. 免密码登录范围 73.4. 修改最大可打开文件数 73.5. OOM相关：vm.overcom... 阅读全文

posted @ 2017-04-30 14:26 #蓝天阅读(751) 评论(0) 推荐(0) 编辑

摘要：目录目录 11. 前言 12. 名词 13. 功能 14. 唯一性原理 25. 系统结构 25.1. mooon-uniq-agent 25.2. mooon-uniq-master 26. 限制 37. 核心思想 48. 编译&安装 49. 启动&运行 510. 编... 阅读全文

posted @ 2017-04-28 08:52 #蓝天阅读(341) 评论(0) 推荐(0) 编辑

摘要： # python setup.py installTraceback (most recent call last): File "setup.py", line 11, in import setuptools File "/home/zhangsan/... 阅读全文

posted @ 2017-04-18 12:22 #蓝天阅读(392) 评论(0) 推荐(0) 编辑

摘要：官方说明：https://dev.mysql.com/doc/refman/5.7/en/mysql-real-escape-string.html相关资料：https://dev.mysql.com/worklog/task/?id=8077从MySQL 5.7.6... 阅读全文

posted @ 2017-03-14 14:27 #蓝天阅读(808) 评论(0) 推荐(0) 编辑

摘要： coredump时的调用栈：#0 0x081eff2c in addbyter ()#1 0x081f05b8 in dprintf_formatf ()#2 0x081f15cf in curl_mvsnprintf ()#3 0x081f0079 in c... 阅读全文

posted @ 2017-03-03 17:48 #蓝天阅读(1419) 评论(1) 推荐(0) 编辑

摘要： // 测试mktime和localtime_r性能及优化方法//// 编译方法：g++ -g -o x x.cpp或g++ -O2 -o x x.cpp，两种编译方式性能基本相同。//// 结论：// 1) 环境变量TZ和isdst均不影响localtime_r的性能... 阅读全文

posted @ 2017-01-22 16:24 #蓝天阅读(417) 评论(0) 推荐(0) 编辑

摘要： cron和sh等可能被某些共享库hook，而这些共享库可能会触发SIGPIPE，导致crontab和shell工作异常，解决办法是程序忽略SIGPIPE或脚本中使用“trap '' SIGPIPE”。问题描述1：shell中的ps、wc、sleep命令均工作异常... 阅读全文

posted @ 2017-01-18 17:29 #蓝天阅读(332) 评论(0) 推荐(0) 编辑