摘要:
flume -> kafka -> strom/spark -> HDFS/RIDS 1. flume: 接受7*24h的数据流,然后丢给storm/spark进行计算。 2. kafka: storm/spark可能来不及处理这些流水信息,这时需要kafka对数据进行缓存 3. hdfs/rids 阅读全文
摘要:
package-info.java对于经常使用外部包的程序员来说应该是熟悉陌生人。因为不是专门开发包的程序员很少需要关注它,而又常在其他包中看到他,眼很熟。它到底有哪些特性和作用及如何使用呢?程序员讲究动口不如动手,何不创建一个试试。打开Eclipse,new class,哦!创建失败,‘-’ 作为 阅读全文
摘要:
一、什么是RPC 远程过程调用(RPC)是一个协议,程序可以使用这个协议使用网络中另一个服务器中某程序的服务,而不需要知道网络细节 二、RPC模型 . c/s模式 . 基于传输层协议,例如(tcp/ip) . 事件处理模型(请求、计算、响应) 三、RPC设计的目的 . 调用非本机的方法 . 不同语言 阅读全文
摘要:
目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和资源管理交由统一的资源管理系统完成: 阅读全文