摘要:
相信从事前端开发的您,一定不会陌生Mozilla五星级推荐的一款插件:firebug,它是如此强大,乃至于我们可以很方便地调试DHTML的近乎所有元素。而在它深邃的机体里,还存有一个命令:console.log。 她是用来做什么的?顾名思义,它是一个彪悍的日志记录功能,您可以从您自己的web页面上调... 阅读全文
摘要:
hadoop的配置,个人感觉是非常容易出问题。一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务。经过昨晚加今天上午的折腾,总算成功配好了集群模式,其中苦不堪言啊,中间好几次都想要放弃。这里总结了一下配置的几个要点,分享给大家,以使大家少走... 阅读全文
摘要:
前两天和朋友李天王吃饭的时候,聊到了一个hadoop的运维的很简单问题,感觉很有意思,以前也没有注意过,现在加以重现和整理。 感谢李天王的分享。。。。 翻看了yarn-deamon.sh stop部分的脚本:Java代码(stop)if[-f$pid];thenTARGET_PID=`cat$pid... 阅读全文
摘要:
昨晚整了半天,遇上的问题是通过start-all.sh无法启动datanode,然后关闭时就会报no datanode to stop ,引起这个的原因是因为我多次格式化,导致namespaceID不一致,解决方法也就简单了,修改Salve里的current/VERSION里的namespaceID... 阅读全文
摘要:
start-all.sh脚本现在已经废弃,推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN。在新一代的Hadoop里面HDFS称为了统一存储的平台,而YARN成为了统一计算的平台。(1)调用start-dfs.sh启动HDFS。之后JPS会出现NameNode,... 阅读全文
摘要:
查看当前路径命令:pwdpwd命令能够显示当前所处的路径。这个命令比较简单,如果有时在操作过程中忘记了当前的路径,则可以通过此命令来查看路径,其执行方式为:# pwd /home/samlee第一行为运行的命令,第二行的内容为运行pwd命令后显示的信息,即显示用户当前所在的工作目录的路径为/home... 阅读全文
摘要:
1)[root@localhost ~]# cat /proc/versionLinux version 2.6.18-194.el5 (mockbuild@builder10.centos.org) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-48)) #... 阅读全文
摘要:
一、修正时区rm -rf /etc/localtime #删除当前默认时区www.kwx.gdln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #复制替换默认时区为上海SSH执行以上命令,将VPS时区修改为中国上海的时区,当然,也可以... 阅读全文
摘要:
说明:由于hadoop集群对时间要求很高,所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注:很多内容是在网上摘录,然后试验后总结,如有疑问可留言探讨。1.设置主机时间准确(任意机器都可)。//如果不需要同步网络时间则可以省略这一步1.1查看本机时间和时区(date)1.2设置时... 阅读全文
摘要:
Linux时间同步部署Hadoop集群,遇到各个linux服务器的时间不同步的问题,于是研究了一下linux的时间同步方式,特将同步方式,总结如下:A、 前提条件a) 网络是连通的,这个不用解释撒,呵呵b) DNS服务器是正常的,可以通过ping来测试,如果出现unknow host,则需要设置DN... 阅读全文