随笔分类 - hadoop面试题
摘要:Mapreduce初析 Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们所需要的结果。 我们要学习的就是这个计算模型的运行规则。在运行一
阅读全文
摘要:一、为何要学习Hadoop? 这是一个信息爆炸的时代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝炼数成金成为当务之急。但数据增长的速度往往比cpu和内存性能增长的速度还要快得多。要处理海量数据,如果求助于昂贵的专用主机甚至超级计
阅读全文
摘要:1.2HDFS(☆☆☆) 1.2.1 HDFS 中的 block 默认保存几份?(A) A.3 份 B.2 份 C.1 份 D.不确定 1.2.2HDFS 默认 BlockSize 是(C) A.32MB B.64MB(2.7.2版本,本地模式) C.128MB(2.7.2版本,分布式模式) 1.2
阅读全文
摘要:1.列出安装hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop conf下面的配置文件 h) Hadoop na
阅读全文
摘要:1.0 简要描述如何安装配置apache的一个开源hadoop,只描述即可,无需列出具体步骤,列出具体步骤更好。 答:第一题:1使用root账户登录 2 修改IP 3 修改host主机名 4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK 6 解压hadoop安装包 7 配置hadoop的核心
阅读全文
摘要:1、简要描述如何安装配置一个apache开源版hadoop,描述即可,列出步骤更好 --解压hadoop包,到指定安装文件夹 --配置linux基本网络环境、jdk环境、防火墙环境 --修改主机名,方便后面UI的访问 --修改hadoop/etc/hadoop/conf下的配置文件,根据部署的模式和
阅读全文
摘要:1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式全分布式模式2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这
阅读全文
摘要:1、简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。 安装JDK并配置环境变量(/etc/profile) 关闭防火墙 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts) 设置ssh免密码登录 解压缩hadoop安装包,并
阅读全文