摘要:
今天我顺便学习了idea,知道了原来可以直接加依赖就可以编程。太方便了。这是想要连接mapreduce的依赖群体。 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</ 阅读全文
摘要:
今天学习mapreduce的相关东西,这是我看的别人的总结。 1.Mapper阶段 (1)用户自定义的Mapper要继承自己的父类 (2)Mapper的输入数据是KV对的形式(KV的类型可自定义) (3)Mapper中的业务逻辑写在map()方法中 (4)Mapper的输出数据是KV对的形式(KV的 阅读全文
摘要:
今天我学习了Hadoop的基础操作。 顺便,今天是9.18,为我们这个民族默哀,默哀一下。 这是关于hadoop中Hdfs的操作。 [song@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [- 阅读全文
摘要:
今天我要展示一下我昨天的劳动成果。 hdfs中有以下的文件。我想我的操作还是可以的,没有什么错误 阅读全文
摘要:
今天进行了对于hadoop的基础测试。 以下是测试的题目。 测试题目1: Hadoop操作 使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop” 接着在HDF 阅读全文
摘要:
今天我要完成这个项目了,明天再不把hadoop配置好就完蛋了。 这是我这个项目的一部分的截图,应该是写完了。 阅读全文
摘要:
今天继续做那个web项目,但是我好像不是很明白该如何去做了。各个部分之间的关系,不是很明确,只说明我最基础的东西都非常的不扎实,这是非常要命的。 阅读全文
摘要:
前段时间老师突然进行了一波javaweb的前台增删改查的练习。我一直没有好好完成,今明两天我决定完成一下。毕竟,hadoop那个还有一些些时间,我还有操作的空间和机会。 给项目一个截图。 阅读全文
摘要:
今天完成脚本的配置,可以让我更快的启动我们的hadoop 操作更加的便捷。 Hadoop 集群启停脚本(包含 HDFS,Yarn,Historyserver):myhadoop.sh [atguigu@hadoop102 ~]$ cd /home/atguigu/bin [atguigu@hadoo 阅读全文
摘要:
今天我在测试上传文件到集群: (1)上传小文件 [atguigu@hadoop102 ~]$ hadoop fs -mkdir /input [atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input 上传大文 阅读全文