2019年2月24日
大数据面试题(一)
摘要： 一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 阅读全文
posted @ 2019-02-24 21:57 sandywei 阅读(783) 评论(0) 推荐(0) 编辑
大数据面试题(二)
摘要： 一、什么是传统的消息传递方法？ 传统的消息传递方法有两种： 排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。 发布 订阅：在这个模型中，消息被广播给所有的用户。 二、请说明kafka相对传统技术有什么优势？ Kafka与传统的消息传递技术相比优势在于： 快速：单一的kaf 阅读全文
posted @ 2019-02-24 21:57 sandywei 阅读(162) 评论(0) 推荐(0) 编辑
Spark面试题(二)
摘要： 一、spark streaming和storm有何区别？ 一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。 二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行程序的main方法，创建 阅读全文
posted @ 2019-02-24 21:52 sandywei 阅读(1092) 评论(0) 推荐(0) 编辑
Spark面试题(一)
摘要： 一、spark集群运算的模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Y 阅读全文
posted @ 2019-02-24 21:51 sandywei 阅读(1612) 评论(0) 推荐(0) 编辑