06 2017 档案

hadoop 使用ip配置导致hdfs启动失败

摘要：dataNode 有守护进行，但hdfs web页面上显示没有live node。错误日志：由于配置hadoop没有使用host+hostName的配置方式，导致了hadoop无法解析DataNode，对DataNode的注册失败。解决方案：hdfs-site.xml中添加阅读全文

posted @ 2017-06-21 20:06 澄轶阅读(5499) 评论(1) 推荐(0) 编辑

centos 7 配置hadoop与spark

摘要：cd /home mkdir shixi_enzhaocd shixi_enzhaomkdir suaneccd suanecmkdir installsmkdir libsmkdir scriptsmkdir tmpmkdir wspyum install vim-enhancedyum inst 阅读全文

posted @ 2017-06-18 16:07 澄轶阅读(352) 评论(0) 推荐(0) 编辑

centos 7 删除yum安装的openjdk

摘要：# java -version # rpm -qa | grep java rpm -e --nodeps （rpm -qa的结果们） # java -version 阅读全文

posted @ 2017-06-18 16:06 澄轶阅读(1001) 评论(0) 推荐(0) 编辑

hadoop fs 获取文件大小

摘要：du 使用方法：hadoop fs -du URI [URI …] 显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。示例：hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop 阅读全文

posted @ 2017-06-13 15:08 澄轶阅读(8506) 评论(0) 推荐(0) 编辑

SparkContext.union 与 RDD.union

摘要：RDD.union，和SparkContext.union都可以将多个RDD聚合成一个UnionRDD。但不同的是，RDD.union在每次操作时，会创建一个新的数据集合，生成新的RDD，新的RDD和原有RDD血统不一致。 SparkContext.union可以将所有需要聚合的RDD，直接生成一阅读全文

posted @ 2017-06-02 18:17 澄轶阅读(3282) 评论(0) 推荐(0) 编辑