加拿大小哥哥

2016年11月17日

摘要：一、命令行登陆 ssh后，一定后边加双引号写命令，否则命令实在本地执行的，多条命令的话用双引号隔开，二、脚本登陆不产生日志三、提高不同远端机器上执行同一条命令阅读全文

posted @ 2016-11-17 20:49 加拿大小哥哥阅读(2252) 评论(0) 推荐(0) 编辑

摘要：介绍：1 开头程序必须以下面的行开始（必须方在文件的第一行）：#!/bin/sh 有人说是bash符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。当编写脚本完成时，如果要执行该脚本，还必须使其可执行。要使编写脚本可执行：编译 chmod +x f 阅读全文

posted @ 2016-11-17 19:55 加拿大小哥哥阅读(2027) 评论(0) 推荐(0) 编辑

linux授予文件执行权限

摘要： chmod u+x 文件 u表示文件所有者阅读全文

posted @ 2016-11-17 16:52 加拿大小哥哥阅读(1277) 评论(0) 推荐(0) 编辑

2016年11月16日

Hadoop设置环境变量注意事项

摘要：路径是/etc/profile。这个东西不能再普通下设置，打开是彩色的，即便是“:wq!”也不能保存，必须去root下，黑白的。然后root下source /etc/profile,然后exit，source /etc/profile，这样在普通用户下就生效了。阅读全文

posted @ 2016-11-16 21:56 加拿大小哥哥阅读(938) 评论(0) 推荐(0) 编辑

FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:hdfs:192.*

摘要：运行的参数配置应该写成阅读全文

posted @ 2016-11-16 12:32 加拿大小哥哥阅读(4651) 评论(0) 推荐(0) 编辑

上传文件到hdfs注意事项

摘要：我在MapReduceInput下创建CFItemSet文件夹，下面有itemSet.txt。我想上传到cf下，然后想着hdfs上会显示cf/itemSet.txt。但是发现hdfs上只有cf文件，注意并不是文件夹，好奇怪，只能先删除（否则提示cf已存在）再重新上川。然后进入到MapReduc 阅读全文

posted @ 2016-11-16 12:19 加拿大小哥哥阅读(1425) 评论(0) 推荐(0) 编辑

2016年11月14日

java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond

摘要： 16-11-14 21:23:41,540 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: starting log segment 4234 failed for required journal (JournalAnd 阅读全文

posted @ 2016-11-14 22:13 加拿大小哥哥阅读(3823) 评论(0) 推荐(0) 编辑

Hadoop jobhistory历史服务器

摘要： Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 $ sbi 阅读全文

posted @ 2016-11-14 21:03 加拿大小哥哥阅读(9031) 评论(0) 推荐(2) 编辑

Invalid initial heap size: -Xms

摘要： -Xxs512m注意 Xxs 和 512m中间无空格就行了。阅读全文

posted @ 2016-11-14 17:10 加拿大小哥哥阅读(6917) 评论(0) 推荐(0) 编辑

hdfs删除文件夹

摘要： hdfs dfs -rm -r /hxsyl 阅读全文

posted @ 2016-11-14 16:25 加拿大小哥哥阅读(8762) 评论(0) 推荐(0) 编辑

公告