摘要: 抄一个可行的Hadoop Yarn环境配置。用的官方的2.2.0版本。http://www.jdon.com/bigdata/yarn.htmlHadoop 2.2新特性将Mapreduce框架升级到Apache YARN,YARN将Map reduce工作区分为两个:JobTracker组件:实现资源管理和任务JOB;计划/监视组件:划分到单独应用中。 使用MapReduce的2.0,开发人员现在可以直接Hadoop内部基于构建应用程序。Hadoop2.2也已经在微软widnows上支持。YARN带来了:1.HDFS的高可靠性2.HDFS snapshots快照3.支持HDFS中的 NFSv 阅读全文
posted @ 2014-03-03 17:29 明之道 阅读(25243) 评论(1) 推荐(1) 编辑
摘要: 摘抄自:http://hi.baidu.com/machao_pe/item/763d0ef12d32cd35fe3582dbredhat和ubuntu中修改环境变量2010-03-0623:43有些命令的路径没有在PATH环境变量中,可以用echo$PATH命令查询得知,添加路径到PATH环境变量的方法如下:(如添加/sbin到PATH环境变量中)(1)如果只想在本次开机过程中临时性的添加修改,下次开机就无效的话,可以:输入exportPATH=$PATH:/sbin(2)如果只给当前用户永久添加,则:在~/.bash_profile中的靠近末尾有类似这样的一行PATH=$PATH:$HOM 阅读全文
posted @ 2013-12-04 15:24 明之道 阅读(6000) 评论(0) 推荐(0) 编辑
摘要: 由于我经常查看,所以直接转载过来。原文地址:http://www.blogjava.net/zhenandaci/archive/2008/08/31/225966.html前文提到过,除了分类算法以外,为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种,这次先介绍特征选择算法中效果比较好的开方检验方法。大家应该还记得,开方检验其实是数理统计中一种常用的检验两个变量独立性的方法。(什么?你是文史类专业的学生,没有学过数理统计?那你做什么文本分类?在这捣什么乱?)开方检验最基本的思想 阅读全文
posted @ 2013-10-21 20:10 明之道 阅读(1115) 评论(0) 推荐(0) 编辑
摘要: 事实证明,至少在mac-osx上,利用sed插入一个换行符是很难的,常规的命令如:sed 's/[\.\?\!]/\n' file是不可能的,会把那些标点符号变成n。尝试了SO上的很多方法http://stackoverflow.com/questions/723157/how-to-insert-a-newline-in-front-of-a-pattern实践表明,这个可行sed 's/regexp/\'$'\n/g'具体为啥不太懂,也不知道这个$符号到底起什么作用,暂且记录下来吧。 阅读全文
posted @ 2013-09-16 16:22 明之道 阅读(638) 评论(0) 推荐(0) 编辑
摘要: mysql出现10061错误解决办法如果出现"ERROR 2003: Can't connect to MySQL server on 'localhost' (10061)",说明你的MySQL还没有启动。解决办法:第一步删除c:\windowns下面的my.ini第二步在DOS下进入BIN目录C:\Program Files\MySQL\MySQL Server 5.4\bin第三步在DOS下 输入 mysqld-nt -remove 删除服务在接着输入 mysqld-nt -install 安装服务第四步输入net start mysqlmys 阅读全文
posted @ 2013-08-30 10:19 明之道 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 参照《Beginning Linux Programming》上的例程写了一个连接mysql的c语言小程序connect1.c。但是按照书上的编译命令无法编译。然后经过查阅资料解决了问题。记录如下:首先书上的编译命令是:gcc-I/usr/local/mysql/include/connect1.c -L/usr/local/mysql/lib/-lmysqlclient-oconnect1编译不成功,始终提示directory not found。网上有人说编译器不能识别全路径制定的lib库什么的,众说纷纭。后来我尝试调换了一下命令各参数的顺序:gcc -I /usr/local/mys.. 阅读全文
posted @ 2013-07-06 15:28 明之道 阅读(2366) 评论(0) 推荐(0) 编辑
摘要: 昨天写一个脚本花了一天的2/3的时间,而且大部分时间都耗在了sed命令上,今天不总结一下都对不起昨天流逝的时间啊~~~用sed命令在行首或行尾添加字符的命令有以下几种:假设处理的文本为test.file在每行的头添加字符,比如"HEAD",命令如下:sed 's/^/HEAD&/g' test.file在每行的行尾添加字符,比如“TAIL”,命令如下:sed 's/$/&TAIL/g' test.file运行结果如下图:几点说明:1."^"代表行首,"$"代表行尾2.'s/$/& 阅读全文
posted @ 2013-06-20 10:38 明之道 阅读(94451) 评论(0) 推荐(3) 编辑
摘要: 转载自:http://www.cnblogs.com/fnng/archive/2012/01/07/2315685.html之前初学过一点git版本控制工具,利用github做仓库,照着github上的文档练习的了一下。不过那只篇只是照虎画猫(我的水平只能照着老虎画个猫模样,嘻嘻!)。最近在学hibernate,公司与家之间都要调用我练习的小项目,交给git/github来管理,我只想说真的爽歪歪了。本文在我之前的那篇《git/github学习笔记》的基础上,属于那个的升级加强版,欢迎对照阅读:http://www.cnblogs.com/fnng/archive/2011/08/25/21 阅读全文
posted @ 2013-05-15 11:48 明之道 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 1、tar -xvf python-2.6.4.tar2、Cd python-2.6.43、./configure --prefix=/home/tmxu/local/python4、make && make install5、将python的路径加入.bash_profile中的PATH.,并执行source .bash_profile使配置立即生效PATH=$PATH:/home/tmxu/local/python/bin export PATH=/home/tmxu/local/python/bin/:$PATH 阅读全文
posted @ 2013-05-09 19:52 明之道 阅读(2670) 评论(0) 推荐(0) 编辑
摘要: http://yanping.me/cn/blog/categories/jekyll/这个博客里有很多jekyll使用的文章,在建站的过程中可以多多参考。 阅读全文
posted @ 2013-05-06 20:25 明之道 阅读(246) 评论(0) 推荐(0) 编辑