hadoop之二--hadoop系统调优以及mapreduce文件测试
2020.7.17 hadoop文件目录创建,文件上传以及性能调优
一.工作内容
1.创建用户目录,创建文件上传目录
2.统计特定字符串出现次数,查看结果
3.性能调优
二.具体内容
1.创建用户目录
Hadoop fs -mkdir xxxx
- 创建上传目录input,并且上传文件
Hadoop fs -put dat0102.dat /input
- 查询字符串出现次数,并查询结果
- hadoop性能调优
<property>
<name>yarn.scheduler.maximun.alLoction-mb</name>
<value>1024<alue>
</property>
</configuration>
<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024<value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048<value>
</property>
<property>
<nane>mapreduce.map.java.opts</nane>
<value>-Xmx768m<value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx1536m<value>
</property>
三.遇到的问题
- Mapreduce实例jar包运行的问题
- 配置文件编写的问题
四,解决方式
- mapreduce运行时,1没有运行输入文件,2没有提交文件路径,在运行时发现命令不对,根据命令提示,输入wordcount,然后就提示输入文件路径,因此输入 dat0102.dat 文件路径
- 配置文件多是标签不对应的问题,和html文件一样要前后标签一一对应
-