08 2019 档案

摘要:Exception in createBlockOutputStream 出现这个问题,可能是端口没打开,把异常往下拉,就可以看到哪个端口,在centos 打开端口 阅读全文
posted @ 2019-08-31 12:12 抽象Java 阅读(1221) 评论(0) 推荐(0)
摘要:一、windows上传文件到 linux的hdfs 1、先在 centos 上开启 hdfs, 用 jps 可以看到下面信息, 说明完成开启 2、在win上配置 hadoop (https://www.cnblogs.com/Jomini/p/11432484.html) 后, 要在 hadoop 阅读全文
posted @ 2019-08-31 09:35 抽象Java 阅读(2909) 评论(0) 推荐(0)
摘要:win10 配置 hadoop-2.7.2 1、下载 先在 http://acrchive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 2、解压配置 解压到目录下,在高级系统设置中设置环境变量 配置完成,在cmd输入" 阅读全文
posted @ 2019-08-29 22:44 抽象Java 阅读(1922) 评论(0) 推荐(0)
摘要:hadoop 源码编译 1、准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin.tar.gz 4) apache-maven-3.0.5-bin.tar.gz 5) protobu 阅读全文
posted @ 2019-08-25 17:04 抽象Java 阅读(105) 评论(0) 推荐(0)
摘要:dateNode 启动不了 进去路径中找到 name和data文件夹,current下面分别有 一个 version文件,打开发现两个clusterId都不一样 把name和data文件里面的version下的clusterId都换成一样的,再重启一遍 阅读全文
posted @ 2019-08-25 13:30 抽象Java 阅读(407) 评论(0) 推荐(0)
摘要:HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem, HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行,一类是namenode 用来管理节点,一类是工作节点da 阅读全文
posted @ 2019-08-17 17:11 抽象Java 阅读(209) 评论(0) 推荐(0)
摘要:决策树 在这里决策树就是,通过事物的特征,判断一个事物是否属于一个分类的算法。 比如,通过下面的一组数据通过条件 “不浮出水面是否可以生存” 和 “是否有脚蹼” 来判读是否是鱼的例子 直接观察可以得出,“当浮出水面是否可以生存” 和 “是否有脚蹼” 两个条件都是 “是” 的时候,这时候就可以确定是鱼 阅读全文
posted @ 2019-08-04 17:41 抽象Java 阅读(281) 评论(0) 推荐(0)