摘要: 你:kafka是什么? 我:嗯,这个嘛。。看官网。 Apache Kafka® is a distributed streaming platform Kafka is generally used for two broad classes of applications: Building re 阅读全文
posted @ 2018-03-22 16:09 大达大 阅读(450) 评论(0) 推荐(0) 编辑
摘要: 方案一:根据官方实例,下载预编译好的版本,执行以下步骤: 此方案的问题有 探索其中的api 比较困难,比如我想试试另外一种写法,需要改源码,然后编译,时间就变长了 如果是一个裸机的话,需要安装好java 环境,spark和java版本之间的依赖也要特别小心 方案二(2个docker 命令,你就可以为 阅读全文
posted @ 2018-03-21 16:05 大达大 阅读(327) 评论(0) 推荐(0) 编辑
摘要: 看图回答以下问题: 1. spark streaming 架构以及功能特性 2. spark streaming mode?以及每个mode主要特性?包括延迟和语义保证。 阅读全文
posted @ 2018-03-19 13:55 大达大 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 一直不是很清楚ApplicationMaster的作用,尤其是在yarn client mode和cluster mode的区别 网上有一些非常好的资料,请移步: https://blog.cloudera.com/blog/2014/05/apache-spark-resource-managem 阅读全文
posted @ 2017-06-30 17:07 大达大 阅读(212) 评论(0) 推荐(0) 编辑