摘要: 16-11-14 21:23:41,540 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: starting log segment 4234 failed for required journal (JournalAnd 阅读全文
posted @ 2016-11-14 22:13 加拿大小哥哥 阅读(3823) 评论(0) 推荐(0) 编辑
摘要: Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器 $ sbi 阅读全文
posted @ 2016-11-14 21:03 加拿大小哥哥 阅读(9031) 评论(0) 推荐(2) 编辑
摘要: -Xxs512m注意 Xxs 和 512m中间无空格就行了。 阅读全文
posted @ 2016-11-14 17:10 加拿大小哥哥 阅读(6917) 评论(0) 推荐(0) 编辑
摘要: hdfs dfs -rm -r /hxsyl 阅读全文
posted @ 2016-11-14 16:25 加拿大小哥哥 阅读(8762) 评论(0) 推荐(0) 编辑
摘要: 原始数据是1|23|M|writer|450045,表示用户1,23岁,男,作家,邮编450045。 读取的时候不能直接load或者importdata,由于特殊分隔符的存在,只能督导第一列,所以用textread。 凭借第一列和第三列编程一列cell,比如"1,M"。 关键是如何吧“1,M”存入t 阅读全文
posted @ 2016-11-14 11:45 加拿大小哥哥 阅读(5887) 评论(0) 推荐(0) 编辑
摘要: 原始数据是1 23 4 78675645,表示用户1对项目23的平分为4,评分的unix时间为78675645。 需要的是1,23,4 阅读全文
posted @ 2016-11-14 11:41 加拿大小哥哥 阅读(2337) 评论(0) 推荐(0) 编辑
摘要: 笔者在此基础上进行运行,修改得到以下内容,希望大家给与补充: textread 基本语法是: [A,B,C,…] = textread(filename,format) [A,B,C,…] = textread(filename,format,N)其中filename就是文件名, format就是要 阅读全文
posted @ 2016-11-14 11:37 加拿大小哥哥 阅读(13056) 评论(0) 推荐(0) 编辑