随笔分类 - hadoop
摘要:1.编辑一个文件并通过hadoop命令将其放到HDFS中 2.使用java代码访问所上传的文件private final static String PATH = "hdfs://hadoop:9000/hello"; public static void main(String[] args...
阅读全文
摘要:选项名称使用格式含义-ls-ls 查看指定路径的当前目录结构-lsr-lsr 递归查看指定路径的目录结构-du-du 统计目录下个文件大小-dus-dus 汇总统计目录下文件(夹)大小-count-count [-q] 统计文件(夹)数量-mv-mv 移动-cp-cp 复制-rm-rm [-sk...
阅读全文
摘要:hadoop安装 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 安装jdk 安装hadoop1.将hadoop-1.1.2.tar.gz上传到/usr/local/,解压并改名为hadoop 2.配置hadoop环境变量,编辑/etc/profile文件,在该文件底部...
阅读全文
摘要:安装完hadoop后启动hadoop会报一个Warning。解决办法vi /etc/profile进入编辑模式,添加下面这行export HADOOP_HOME_WARN_SUPPRESS=1保存退出立即生效:source /etc/profile重新启动hadoop消除警告成功!
阅读全文