05 2014 档案

摘要:利用expect的交互功能,自动配置信任机器之间的信任关系。 代码里会判断机器是否生成了秘钥,如果没有生成过,则自动帮助你执行 ssh-keygen ssh_expect.sh 程序依赖expect 命令,用户可以通过同路径的 hosts.properties 文件配置需要设置的信任关系 ssh_e 阅读全文
posted @ 2014-05-31 17:06 chenfool 阅读(819) 评论(0) 推荐(0) 编辑
摘要:最经在捣鼓Cloudera的cdh ,发现里面使用了alternatives命令,由于不懂这个命令,让我走了好多弯路。 现在mark一下 ubuntu 12.04 系统的命令为:update-alternatives RedHat 6.4 系统命令为:alternatives,其中update-al 阅读全文
posted @ 2014-05-29 14:17 chenfool 阅读(530) 评论(0) 推荐(0) 编辑
摘要:最近升级cdh版本,从4.5 升级到 5.0.0 beta-2 但是升级后,发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本,而且hadoop环境也是沿用4.5 的版本conf,导致hive不能正常使用,报错为hdfs 的版本不对。 后面使用strace工具查看,发现它 阅读全文
posted @ 2014-05-29 10:55 chenfool 阅读(284) 评论(0) 推荐(0) 编辑
摘要:在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。 自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成 阅读全文
posted @ 2014-05-28 13:45 chenfool 阅读(201) 评论(0) 推荐(0) 编辑
摘要:原本在3台机器中部署了Cloudera CDH4.8的集群环境,运行状况良好,后来由于机房搬迁,导致那3台机器的ip地址被改变(hostname 没有变化)。 再次启动Cloudera-scm-server,登陆进去看时,发现manager根本不认识那3台机器了。 无奈在“主机”的选项中需找修改的方 阅读全文
posted @ 2014-05-27 22:21 chenfool 阅读(5089) 评论(2) 推荐(0) 编辑
摘要:这段时间,在对接一个开源的版本时,发现由于依赖的开源版本api老是随着版本的变化而变化,导致代码经常需要修改,异常痛苦。 终于,在一个风和日丽的下午(五月末的广州异常暴晒),楼主下定决心要修掉这个大篓子。 在Internet寻找了很久,终于找到了解决方法,参考的文章在本文最后,感谢文章的作者。 使用 阅读全文
posted @ 2014-05-27 18:21 chenfool 阅读(342) 评论(0) 推荐(1) 编辑
摘要:这段时间学习boost 的asio 编程,想编译asio自带的http/server的程序,无奈在网上根本找不到方法,只能自己摸索学习。 登陆boost asio 的example 目录,(我 boost 安装在/opt目录下) 编译命令: 我之前自己编译了一次简单的asio的程序,编译命令不需要加 阅读全文
posted @ 2014-05-24 16:27 chenfool 阅读(2242) 评论(0) 推荐(0) 编辑
摘要:参考文章:http://www.redhat.com/archives/rpm-list/2006-June/msg00025.html 我遇到的情况是这样的: 1 先安装包 rpm -ivh test.rpm 假设这个包会安装在 /var/lib/test 下 2 失误错删 /var/lib/te 阅读全文
posted @ 2014-05-20 17:50 chenfool 阅读(1947) 评论(0) 推荐(0) 编辑
摘要:参考文章:http://community.cloudera.com/t5/Cloudera-Manager-Installation/Error-CDH5-oozie/td-p/8686 按照文章说的,将/var/lib/oozie/下面的文件删除即可 阅读全文
posted @ 2014-05-20 14:37 chenfool 阅读(935) 评论(0) 推荐(0) 编辑
摘要:Cloudera 的官方介绍: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.8.1/Cloudera-Manager-Installation-Guide/cmig_uninstall_CM.html 阅读全文
posted @ 2014-05-20 11:38 chenfool 阅读(6196) 评论(1) 推荐(0) 编辑
摘要:今天给安装Sequoiadb 软体时,出现添加用户和组失败,显示错误: cannot lock /et/passwd; try again later. 在网上查了一下,说是/etc/passwd 文件被加锁了 发现lock文件确实存在,网上教程说将lock文件删除就能解决了 将lock文件都删除, 阅读全文
posted @ 2014-05-16 11:48 chenfool 阅读(3974) 评论(0) 推荐(0) 编辑
摘要:最近在玩spark , 需要看一下python的spark lib 是怎么加入环境变量的。 执行: 报错 + dirname bin/pyspark + cd bin/.. + pwd + FWDIR=/usr/local/spark-0.9.1-bin-hadoop1 + export SPARK 阅读全文
posted @ 2014-05-14 18:29 chenfool 阅读(8441) 评论(0) 推荐(0) 编辑
摘要:自己第一次玩boost,对C++也非常不熟悉,记录一下自己的学习过程。 安装编译 boost 包解压到/opt下 首先执行生成b2的脚本 编译boost 与安装 安装完成后,会在/usr/local/lib保存.so 与.a 文件,头文件则存放在/usr/local/include/boost/路径 阅读全文
posted @ 2014-05-09 18:20 chenfool 阅读(3595) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示