伪分布式Hadoop（专业见习）
step1 关闭防火墙
systemctl disable firewalld.service
step2 需要修改主机名
hostnamectl set-hostname 你想叫的名
step3 将IP和主机名进行映射
vim /etc/hosts
添加 IP 主机名
例如 192.168.33.27 anyi
:wq
step4 根目录下新建个java和Hadoop目录吧，文件xftp移进去
mkdir /java
cd /java
tar -xzvf jdk-8u171-linux-x64.tar.gz -C /java
mkdir hadoop
cd /hadoop
tar -xzvf hadoop-2.7.3.tar.gz -C /hadoop
step5 添加java系统路径
vi /etc/profile
export JAVA_HOME=/java/jdk1.8.0_171
export CLASSPATH=\$JAVA_HOME/lib
export PATH=\$JAVA_HOME/bin:$PATH
:wq
step6 配置hadoop文件
cd /hadoop/hadoop-2.7.3/etc/hadoop
接下来要编辑的文件全在这个目录
vi hadoop-env.sh
（修改）以下内容
export JAVA_HOME=/java/jdk1.8.0_171
export HADOOP_CONF_DIR=/hadoop/hadoop-2.7.3/etc/hadoop
:wq
内容都粘贴至<configuration>便签内，注意缩进
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://你主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.7.3/tmp</value>
</property>
:wq
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
:wq
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
:wq
vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>你主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
:wq
vi slaves
添加个你的主机名
:wq
step7 添加hadoop系统路径
vim /etc/profile
添加以下内容
export HADOOP_HOME=/hadoop/hadoop-2.7.3
export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin
重启配置
source /etc/profile
step8 格式化与启动服务
hadoop namenode -format
如果看到以下文字
common.Storage: Storage directory /hadoop/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.
表示格式化没有问题
start-all.sh
启动服务
jps
出现6条则成功
step9 开始表演
打开浏览器登录
http://你的Ip:50070
http://你的Ip:8088
有两个服务器网页
上传个文件看看
hadoop fs -put /hadoop/hadoop-2.7.3.tar.gz /
没有提示则上传成功
在http://你的Ip:50070上Utilities下的Browse目录上就可以看到你上传的文件
Step10 导包
打开ecplice新建一个Java项目进行导包：
将hadoop-2.7.1_64bit.tar.gz解压
hadoop-2.7.1_64bit/hadoop-2.7.1/share/hadoop/common 下的三个.jar文件
hadoop-2.7.1_64bit/hadoop-2.7.1/share/hadoop/common/lib 下所有.jar文件
hadoop-2.7.1_64bit/hadoop-2.7.1/share/hadoop/hdfs 下的三个.jar文件
hadoop-2.7.1_64bit/hadoop-2.7.1/share/hadoop/hdfs/lib 下所有.jar文件
虚拟机里touch 个 a.txt，上传测试
——已更新作业答案——上传促销日期（spec.txt）
package com.hadoop;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.io.Serializable;
import java.net.URI;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.GregorianCalendar;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class HDFSDemo {
public static void main(String[] args) throws Exception {
//HDFSDemo.get();
//HDFSDemo.put();
/*System.out.println(2.0-1.9);
System.out.println(new Date());
System.out.println(new GregorianCalendar());
System.out.println(System.currentTimeMillis());
System.out.println(1634286584834l/1000/60/60/24/365);
System.out.println(1970+51);*/
//定义一个日期
String d="2021-06-15";
//将字符串类型的值转换成Date类型
SimpleDateFormat fmt=new SimpleDateFormat("yyyy-MM-dd");
Date date=fmt.parse(d);
//获取促销日期
Date spec=specialDay(date, 3);//计算促销日期
//转换格式
String spec1=fmt.format(spec);
FileOutputStream file=new FileOutputStream("spec.txt");
OutputStreamWriter out=new OutputStreamWriter(file);
PrintWriter pw=new PrintWriter(out);
pw.println(spec1);
pw.close();
HDFSDemo.solve();
System.out.println("成功");
}
//下载
//修饰词+返回值类型+方法名+参数列表+方法体
public static void get() throws IOException {
//连接HDFS
//uri-连接地址
//conf-代码中自主指定的配置
Configuration conf=new Configuration();
FileSystem fs=FileSystem.get(URI.create("hdfs://192.168.33.27:9000"),conf);
//指定下载文件
InputStream in=fs.open(new Path("/a.txt"));
//创建一个输出流
FileOutputStream out=new FileOutputStream("a.txt");
//读写文件
byte[] bs=new byte[1024];
int len;
while((len=in.read(bs))!=-1) {
out.write(bs,0,len);
}
//关闭
out.close();
in.close();
}
//上传
public static void put() throws Exception {
//连接HDFS
//配置Config属性
Configuration conf=new Configuration();
conf.set("dfs.replication", "3");
FileSystem fs=FileSystem.get(URI.create("hdfs://192.168.33.27:9000"),conf,"root");
//指定上传文件
OutputStream out=fs.create(new Path("a.txt"));
//创建一个输入流读取文件
FileInputStream in=new FileInputStream("b.txt");
//读写文件
IOUtils.copyBytes(in, out, conf);
in.close();
out.close();
}
//删除
public void delete() throws Exception {
Configuration conf=new Configuration();
FileSystem fs=FileSystem.get(URI.create("hdfs://192.168.33.27:9000"),conf,"root");
fs.delete(new Path("/a.txt"));
}
//商品促销日期
public static Date specialDay(Date proc,int exp){
Calendar cal=new GregorianCalendar();
cal.setTime(proc);//生产日期
cal.add(Calendar.MONTH, exp);//过期日
cal.add(Calendar.WEEK_OF_YEAR, -2);//回调2周
cal.set(Calendar.DAY_OF_WEEK, Calendar.FRIDAY);
return cal.getTime();
}
//------------------作业-------------------
public static void solve() throws Exception {
Configuration conf=new Configuration();
conf.set("dfs.replication", "3");
FileSystem fs=FileSystem.get(URI.create("hdfs://192.168.33.27:9000"),conf,"root");
OutputStream out=fs.create(new Path("spec.txt"));
out.close();
};
}
会发现a.txt已经下载至java文件所在路径下。
