摘要：
flume -> kafka -> strom/spark -> HDFS/RIDS 1. flume： 接受7*24h的数据流，然后丢给storm/spark进行计算。 2. kafka： storm/spark可能来不及处理这些流水信息，这时需要kafka对数据进行缓存 3. hdfs/rids 阅读全文
摘要：
package-info.java对于经常使用外部包的程序员来说应该是熟悉陌生人。因为不是专门开发包的程序员很少需要关注它，而又常在其他包中看到他，眼很熟。它到底有哪些特性和作用及如何使用呢？程序员讲究动口不如动手，何不创建一个试试。打开Eclipse,new class,哦！创建失败，‘-’ 作为 阅读全文
摘要：
一、什么是RPC 远程过程调用（RPC）是一个协议，程序可以使用这个协议使用网络中另一个服务器中某程序的服务，而不需要知道网络细节 二、RPC模型 . c/s模式 . 基于传输层协议，例如（tcp/ip） . 事件处理模型（请求、计算、响应） 三、RPC设计的目的 . 调用非本机的方法 . 不同语言 阅读全文
摘要：
目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成： 阅读全文