2012 年 1月 10 日随笔档案 - shengxinge

2012年1月10日

摘要：在浏览hdfs上面的文件的时候，要在hadoop的安装目录下[hadoop@master hadoop-0.20.2]$bin/hadoop fs -ls进行查看，但是想要删除hdfs里面的文件，路径就需要是hdfs的专属路径，因为hdfs的文件路径和linux的本地路径是完全两套系统例如想删除file01文件[hadoop@master hadoop-0.20.2]$bin/hadoop fs -rmr hdfs://master:54310/user/hadoop/file01或[hadoop@master hadoop-0.20.2]$bin/hadoop fs -rmr /user/h 阅读全文

posted @ 2012-01-10 15:19 shengxinge 阅读(607) 评论(0) 推荐(0) 编辑

hadoop:java.lang.outofmemoryerror

摘要：今天在hadoop集群的master上面用eclipse写了一个类，运行，发现出了这个错误。因为eclipse的jvm的内存设置偏小首先我在hadoop安装目录下conf/hadoop-env.sh文件进行如下修改增加export HADOOP_HEAPSIZE=1000但是也可能是单个程序的jvm过小，要修改单个程序的jvm大小，在eclipse里面在要运行的类上单击右键，选择run configuration然后在VMarguments:的地方写-Xmx512m然后运行就可以了阅读全文

posted @ 2012-01-10 15:12 shengxinge 阅读(428) 评论(0) 推荐(0) 编辑