摘要：
配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下： 1）配置mapred-site.xml [atguigu@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <prope 阅读全文
摘要：
4.1软件工程：一种层次化技术1、软件工程是将系统化的、规范的、可量化的方法应用于软件的开发、运行和维护，即将工程化方法应用于软件。2、软件工程包括过程、方法和工具，根基在于质量关注点，基础是过程层 4.2过程框架 1、五个最基本的工程框架活动是：沟通、策划、建模、构建、部署。 2、普适性活动贯穿整 阅读全文
摘要：
集群基本测试 （1）上传文件到集群 上传小文件 [atguigu@hadoop102 ~]$ hadoop fs -mkdir /input [atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input 上传大文 阅读全文
摘要：
群起集群 1）配置workers [atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 在该文件中增加如下内容： hadoop102 hadoop103 hadoop104 注意：该文件中添加的内容结尾 阅读全文
摘要：
配置集群 （1）核心配置文件 配置core-site.xml [atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop [atguigu@hadoop102 hadoop]$ vim core-site.xml 文件内容如下： <?xml version=" 阅读全文
摘要：
第三章 过程模型 瀑布模型又被成为经典生命周期，是系统的、顺序的软件开发方法，包括通用过程模型的5个部分。沟通——项目启动、需求获取；策划——项目估算、进度计划、项目跟踪；建模——分析、设计；构建——编码、测试；部署——交付、支持、反馈。使用瀑布模型遇到的问题有：（1）实际的项目很少遵守瀑布模型提出 阅读全文
摘要：
集群配置 1）集群部署规划 注意： NameNode和SecondaryNameNode不要安装在同一台服务器 ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop102 hadoop103 hadoop104 HD 阅读全文
摘要：
SSH无密登录配置 1）配置ssh （1）基本语法 ssh另一台电脑的IP地址 （2）ssh连接时出现Host key verification failed的解决方法 [atguigu@hadoop102 ~]$ ssh hadoop103 如果出现如下内容 Are you sure you wa 阅读全文
摘要：
完全分布式运行模式（开发重点） 分析： 1）准备3台客户机（关闭防火墙、静态IP、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 3.2.1 虚拟机准备 详见2.1、2.2两节。 3.2.2 编写集 阅读全文
摘要：
第二章 过程综述 软件工程是一种层次化的技术，其根基在于质量关注点，然后自下而上分别为过程、方法、工具。其中基础是过程。 通用过程框架包括5个部分：沟通、策划、建模、构建、部署。建模通常包括分析和设计。分析包括需求获取、细化、协商、规格说明和确认；设计包括数据设计、体系结构设计、接口设计和构件层设计 阅读全文