摘要: 1.2HDFS(☆☆☆) 1.2.1 HDFS 中的 block 默认保存几份?(A) A.3 份 B.2 份 C.1 份 D.不确定 1.2.2HDFS 默认 BlockSize 是(C) A.32MB B.64MB(2.7.2版本,本地模式) C.128MB(2.7.2版本,分布式模式) 1.2 阅读全文
posted @ 2020-09-28 23:00 十一vs十一 阅读(714) 评论(0) 推荐(0) 编辑
摘要: mapreduce工作流程:1、client提交数据到DFS,然后被分为多个split,然后通过inputformatter以key-value传给jobTraker。jobTraker分配工作给多个map(taskTraker)。project师重写map,在各个taskTraker上分别运行代码 阅读全文
posted @ 2020-09-28 22:58 十一vs十一 阅读(1583) 评论(0) 推荐(0) 编辑
摘要: HDFS:Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐 阅读全文
posted @ 2020-09-28 22:57 十一vs十一 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 1.什么是hadoop 答:是google的核心算法MapReduce的一个开源实现。 用于海量数据的并行处理。 hadoop的核心主要包括:HDFS和MapReduce HDFS是分布式文件系统。用于分式存储海量数据。 MapReduce是分布式数据处理模型,本质是并行处理。 2.用hadoop来 阅读全文
posted @ 2020-09-28 22:56 十一vs十一 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 1.列出安装hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop conf下面的配置文件 h) Hadoop na 阅读全文
posted @ 2020-09-28 22:55 十一vs十一 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 1、hadoop与云计算之间的关系? 解析:云计算由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。针对海量文本数据处 理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储 阅读全文
posted @ 2020-09-28 22:53 十一vs十一 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 1.0 简要描述如何安装配置apache的一个开源hadoop,只描述即可,无需列出具体步骤,列出具体步骤更好。 答:第一题:1使用root账户登录 2 修改IP 3 修改host主机名 4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK 6 解压hadoop安装包 7 配置hadoop的核心 阅读全文
posted @ 2020-09-28 22:51 十一vs十一 阅读(868) 评论(0) 推荐(0) 编辑
摘要: 1、简要描述如何安装配置一个apache开源版hadoop,描述即可,列出步骤更好 --解压hadoop包,到指定安装文件夹 --配置linux基本网络环境、jdk环境、防火墙环境 --修改主机名,方便后面UI的访问 --修改hadoop/etc/hadoop/conf下的配置文件,根据部署的模式和 阅读全文
posted @ 2020-09-28 22:48 十一vs十一 阅读(279) 评论(0) 推荐(0) 编辑
摘要: 1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式全分布式模式2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这 阅读全文
posted @ 2020-09-28 22:47 十一vs十一 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 1、简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。 安装JDK并配置环境变量(/etc/profile) 关闭防火墙 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts) 设置ssh免密码登录 解压缩hadoop安装包,并 阅读全文
posted @ 2020-09-28 22:44 十一vs十一 阅读(409) 评论(0) 推荐(0) 编辑