摘要：
一、前提 1、创建Maven项目 2、导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> < 阅读全文
摘要：
1、右击鼠标--选中Edit '类.main()' 2、添加参数--apply--ok 阅读全文
摘要：
一、概述 1、概念 是一个分布式运算程序的编程框架 2、核心功能 业务逻辑代码和自带默认组件 二、MapReduce的优缺点 1、优点 易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理 2、缺点 不擅长实时计算、不擅长流式计算、不擅长依赖关系的计算 三、核心思想 1、MapRedu 阅读全文
摘要：
含义：快照不会复制所有文件，而是记录文件变化 # 1.开启指定目录的快照功能 hdfs dfsadmin -allowSnapshot 路径 # 2.对目录创建快照 hdfs dfs -createSnapshot 路径 # 3.指定名称创建快照 hdfs dfs -createSnapshot 路 阅读全文
摘要：
注意：HDFS很少删除数据 1、打开文件 vim etc/hadoop/core-site.xml 2、编辑文件 # 1 代表1分钟 <property> <name>fs.trash.interval</name> <value>1</value> </property> # 修改回收站访问用户 阅读全文
摘要：
1、scp 一个集群内 传递数据 scp -r a.txt tom@wt3:/ # 推 scp -r tom@wt2:/abc.txt /tmp # 拉 scp -r tom@wt1:/a.txt tom@wt3:/tmp 2、 distcp 两个集群 传递数据 bin/hadoop distcp 阅读全文