摘要： 第1部分 选择题 1.1 Hadoop选择题 1.1.1 Hdfs 1. 下面哪个程序负责 HDFS 数据存储？ a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份？ 阅读全文

摘要： kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多 阅读全文

摘要： Azkaban 1. 工作流调度器概述 1.1. 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统 阅读全文

摘要： 1.1 vi 文本编辑器 1.1.1 vi 的两种模式 1、命令模式 vi 的默认进入状态（不可以输入字符，但可以对字符进行操作，复制，移动、删除等操作） 2、输入模式 输入字符状态（只可以输入和使用del 和退格backspace键删除文字） 1.1.2 vi 的启动和退出 #vi file 编辑 阅读全文

摘要： 一、Shell的HelloWorld #!/bin/bash echo “HelloWorld!”#! 是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。 运行方法有两种： ./helloworld.sh /bin/sh helloworld.sh（这种运行方式是作 阅读全文

摘要： 1、简答说一下hadoop的map-reduce编程模型 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-val 阅读全文

摘要： 1.MRV1有哪些不足？ 1)可扩展性（对于变化的应付能力） a)JobTracker内存中保存用户作业的信息 b)JobTracker使用的是粗粒度的锁 2)可靠性和可用性 a)JobTracker失效会多事集群中所有的运行作业，用户需手动重新提交和恢复工作流 3)对不同编程模型的支持 Hadoo 阅读全文

摘要： 1.Spark使用parquet文件存储格式能带来哪些好处？ 1) 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准 2) 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv 阅读全文

摘要： 1.cache后面能不能接其他算子,它是不是action操作？ 答：cache可以接其他算子，但是接了算子之后，起不到缓存应有的效果，因为会重新触发cache。 cache不是action操作 2.reduceByKey是不是action？ 答：不是，很多人都会以为是action，reduce rd 阅读全文

摘要： 1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Exe 阅读全文