10 2021 档案

摘要:配置历史服务器 为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下: 1)配置mapred-site.xml [atguigu@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <prope 阅读全文
posted @ 2021-10-30 17:30 小萌新一枚lll 阅读(23) 评论(0) 推荐(0) 编辑
摘要:4.1软件工程:一种层次化技术1、软件工程是将系统化的、规范的、可量化的方法应用于软件的开发、运行和维护,即将工程化方法应用于软件。2、软件工程包括过程、方法和工具,根基在于质量关注点,基础是过程层 4.2过程框架 1、五个最基本的工程框架活动是:沟通、策划、建模、构建、部署。 2、普适性活动贯穿整 阅读全文
posted @ 2021-10-28 18:43 小萌新一枚lll 阅读(85) 评论(0) 推荐(0) 编辑
摘要:集群基本测试 (1)上传文件到集群 上传小文件 [atguigu@hadoop102 ~]$ hadoop fs -mkdir /input [atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input 上传大文 阅读全文
posted @ 2021-10-26 14:34 小萌新一枚lll 阅读(43) 评论(0) 推荐(0) 编辑
摘要:群起集群 1)配置workers [atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 在该文件中增加如下内容: hadoop102 hadoop103 hadoop104 注意:该文件中添加的内容结尾 阅读全文
posted @ 2021-10-25 18:04 小萌新一枚lll 阅读(23) 评论(0) 推荐(0) 编辑
摘要:配置集群 (1)核心配置文件 配置core-site.xml [atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop [atguigu@hadoop102 hadoop]$ vim core-site.xml 文件内容如下: <?xml version=" 阅读全文
posted @ 2021-10-22 16:15 小萌新一枚lll 阅读(36) 评论(0) 推荐(0) 编辑
摘要:第三章 过程模型 瀑布模型又被成为经典生命周期,是系统的、顺序的软件开发方法,包括通用过程模型的5个部分。沟通——项目启动、需求获取;策划——项目估算、进度计划、项目跟踪;建模——分析、设计;构建——编码、测试;部署——交付、支持、反馈。使用瀑布模型遇到的问题有:(1)实际的项目很少遵守瀑布模型提出 阅读全文
posted @ 2021-10-20 17:02 小萌新一枚lll 阅读(141) 评论(0) 推荐(0) 编辑
摘要:集群配置 1)集群部署规划 注意: NameNode和SecondaryNameNode不要安装在同一台服务器 ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop102 hadoop103 hadoop104 HD 阅读全文
posted @ 2021-10-18 16:00 小萌新一枚lll 阅读(79) 评论(0) 推荐(0) 编辑
摘要:SSH无密登录配置 1)配置ssh (1)基本语法 ssh另一台电脑的IP地址 (2)ssh连接时出现Host key verification failed的解决方法 [atguigu@hadoop102 ~]$ ssh hadoop103 如果出现如下内容 Are you sure you wa 阅读全文
posted @ 2021-10-16 19:59 小萌新一枚lll 阅读(79) 评论(0) 推荐(0) 编辑
摘要:完全分布式运行模式(开发重点) 分析: 1)准备3台客户机(关闭防火墙、静态IP、主机名称) 2)安装JDK 3)配置环境变量 4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 3.2.1 虚拟机准备 详见2.1、2.2两节。 3.2.2 编写集 阅读全文
posted @ 2021-10-15 14:22 小萌新一枚lll 阅读(42) 评论(0) 推荐(0) 编辑
摘要:第二章 过程综述 软件工程是一种层次化的技术,其根基在于质量关注点,然后自下而上分别为过程、方法、工具。其中基础是过程。 通用过程框架包括5个部分:沟通、策划、建模、构建、部署。建模通常包括分析和设计。分析包括需求获取、细化、协商、规格说明和确认;设计包括数据设计、体系结构设计、接口设计和构件层设计 阅读全文
posted @ 2021-10-13 18:39 小萌新一枚lll 阅读(67) 评论(0) 推荐(0) 编辑
摘要:本地运行模式(官方WordCount) 1)创建在hadoop-3.1.3文件下面创建一个wcinput文件夹 [atguigu@hadoop102 hadoop-3.1.3]$ mkdir wcinput 2)在wcinput文件下创建一个word.txt文件 [atguigu@hadoop102 阅读全文
posted @ 2021-10-12 21:47 小萌新一枚lll 阅读(27) 评论(0) 推荐(0) 编辑
摘要:Hadoop运行模式 1)Hadoop官方网站:http://hadoop.apache.org/ 2)Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。 伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能, 阅读全文
posted @ 2021-10-09 22:43 小萌新一枚lll 阅读(79) 评论(0) 推荐(0) 编辑
摘要:Hadoop目录结构 1)查看Hadoop目录结构 [atguigu@hadoop102 hadoop-3.1.3]$ ll 总用量 52 drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin drwxr-xr-x. 3 atguigu atguigu 阅读全文
posted @ 2021-10-08 22:27 小萌新一枚lll 阅读(27) 评论(0) 推荐(0) 编辑
摘要:第一章 软件工程介绍 软件是指令的集合;软件是数据结构;软件是程序操作和使用的文档;软件是逻辑的系统元素而非物理的系统元素。 软件具有的特性:(1)软件是设计开发的,而不是传统意义上生产制造的。(2)软件不会“磨损”但是软件会退化。(3)虽然整个工业向着基于构件的构造模式发展,然而大多数软件仍是根据 阅读全文
posted @ 2021-10-06 20:17 小萌新一枚lll 阅读(79) 评论(0) 推荐(0) 编辑
摘要:在hadoop102安装Hadoop Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1)用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面 阅读全文
posted @ 2021-10-05 16:11 小萌新一枚lll 阅读(24) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示