11 2016 档案

hadoop2.7.3配置文件中过时的属性
摘要：过时的属性：Deprecated Properties ===================== 该列表保存于：hadoop 2.7.3 src\hadoop common project\hadoop common\src\site\markdown 目录 下表列出了在这个版本的Hadoop过时 阅读全文
posted @ 2016-11-23 19:15 丹江湖畔养蜂子赵大爹 阅读(2789) 评论(1) 推荐(0) 编辑
Ubuntu 修改 ssh 登录后的欢迎信息
摘要：/etc/update motd.d/90 updates available cd /etc/update motd.d/ vi 10 help text 修改或者注释掉里面的内容 vi 90 updates available 修改或者注释掉里面的内容 更多原理参考：《http://debugw 阅读全文
posted @ 2016-11-22 11:12 丹江湖畔养蜂子赵大爹 阅读(642) 评论(0) 推荐(0) 编辑
Hbase的配置和安装
摘要：Hbase的配置和安装 1. 解压hbase、配置HBASE_HOME 2. 修改$HBASE_HOME/conf/hbase env.sh文件 //指定JDK路径 export JAVA_HOME=/usr/java/jdk1.8.0_45 //告诉hbase使用外部的zk export HBAS 阅读全文
posted @ 2016-11-17 19:49 丹江湖畔养蜂子赵大爹 阅读(1034) 评论(0) 推荐(0) 编辑
python起的 simpleHTTPServer服务传输文件
摘要：python起的 simpleHTTPServer服务传输文件 经同事的介绍，在Linux上传输文件的一种特别方便的方法： python m SimpleHTTPServer 【端口】 端口不填 默认8000 然后这个http服务就会读这个文件夹和这个文件夹下的子文件夹下的文件 就是HTTP 的资源 阅读全文
posted @ 2016-11-16 11:23 丹江湖畔养蜂子赵大爹 阅读(3416) 评论(0) 推荐(0) 编辑
hadoop修改MR的提交的代码程序的副本数
摘要：hadoop修改MR的提交的代码程序的副本数 Under Replicated Blocks的数量很多,有7万多个。hadoop fsck blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。 原因：MR,hive 的程序代码上传到h 阅读全文
posted @ 2016-11-14 15:12 丹江湖畔养蜂子赵大爹 阅读(869) 评论(0) 推荐(0) 编辑
Fair Scheduler 队列设置经验总结
摘要：Fair Scheduler 队列设置经验总结 由于公司的hadoop集群的计算资源不是很充足，需要开启yarn资源队列的资源抢占。在使用过程中，才明白资源抢占的一些特点。在这里总结一下。 只有一个队列的资源小于设置的 最小资源时，才有可能启动资源抢占。 只要所有的资源队列的最小资源之和小于等于集群 阅读全文
posted @ 2016-11-03 19:52 丹江湖畔养蜂子赵大爹 阅读(2196) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示