摘要: 1.源码解释 package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;impo 阅读全文
posted @ 2018-11-11 14:09 藤原拓海7 阅读(1295) 评论(0) 推荐(0) 编辑
摘要: 刚接触mapreduce的编程时很是疑惑,map的<key,value>源源不断的到底是从哪里产生的,学习后才知道一切都源自main函数中的Inputformat函数,这个函数的目的就是将源数据切片,并将切片转变为<key,value>对,源源不断的供给给map,具体是Inputformat是一个抽 阅读全文
posted @ 2018-11-11 11:39 藤原拓海7 阅读(686) 评论(0) 推荐(0) 编辑
摘要: 有一个字符串str,是由0-9十个数字组成的,现在需要读取str的某一位字符,将其转换成整数型。 方法一:在java语法中,有一个函数Integer.parseInt(str),可以将字符串str转换为整数型。比如,要读取str中第i位的整数,可以这样: int ii = Integer.parse 阅读全文
posted @ 2018-09-27 16:46 藤原拓海7 阅读(8272) 评论(0) 推荐(0) 编辑
摘要: 准备工作 1.下载hadoop2.5.2.tar.gz 2.下载hadoop-eclipse-plugin-2.5.2.jar插件。如果你的hadoop不是这个版本的,请自己动手编译插件,教程戳这 3.下载winutils.exe以及hadoop.dll (64位) 一、解压安装hadoop2.5. 阅读全文
posted @ 2018-09-25 16:58 藤原拓海7 阅读(1846) 评论(0) 推荐(1) 编辑
摘要: 问题1. localhost: mkdir: cannot create directory `/home/zjp/hadoop-2.7.6/logs': Permission denied 解决:sudo chown -R zjp:zjp hadoop-2.7.6 阅读全文
posted @ 2018-09-19 09:51 藤原拓海7 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 一.使用VMvare创建两个虚拟机,我使用的是ubuntu17版本的,并关闭全部虚拟机的防火墙 1.我们把用于主节点的虚拟机名称设为master(按自己的喜好创建),把用于从节点的虚拟机名称设为slave1 修改主机名的命令:sudo vim /etc/hostname 把原主机名ubuntu改为m 阅读全文
posted @ 2018-09-15 21:50 藤原拓海7 阅读(2419) 评论(0) 推荐(0) 编辑
摘要: sbin/start-dfs.sh jps bin/hdfs dfs -ls / bin/hadoop dfsadmin -safemode leave 关闭安全模式//在HDFS上创建输入文件夹bin/hadoop fs -mkdir /data/wordcount //上传本地/home/zjp 阅读全文
posted @ 2018-09-13 09:33 藤原拓海7 阅读(1675) 评论(0) 推荐(0) 编辑
摘要: 一. Ubuntu Java8 的安装 添加ppa sudo add-apt-repository ppa:webupd8team/java sudo apt-get update 安装oracle-java-installer sudo apt-get install oracle-java8-i 阅读全文
posted @ 2018-09-08 21:24 藤原拓海7 阅读(1268) 评论(0) 推荐(1) 编辑