摘要：
1. 一期工程项目技术架构 1）业务驱动 2）问题驱动 2. 二期工程项目技术架构 项目优化原则： 1）优先从架构和程序进行优化 2）考虑增加集群扩容 做任务为什么不适用kafka？ 1）此业务用户量还小 2）数据量小 3）使用kafka大材小用，资源浪费 为什么同时使用db和redis 1）用户成 阅读全文
摘要：
1. 客户端到服务端数据流程（数据从何而来） 1）我们自己可以设定采集时间间隔，比如5分钟或者10分钟采集手机客户端使用应用产生的数据 它会定时采集数据，然后对数据进行合并（减少对系统的压力），然后将数据存入本地数据库。 当我们手机联网的时候，将数据一起发送出去。 2）当手机联网或者到了定时上传数据 阅读全文
摘要：
一、项目业务介绍 1. 学习该项目的是什么？ flume+kafka+Spark Streaming+hbase 1）掌握高可用的大数据采集系统 2）掌握高并发的分布式消息队列 3）掌握基于内存的高吞吐的实时计算 4）海量存储，毫秒级查询的数据库 2. 公司在什么背景下做这个项目？ 1）需要采集用户 阅读全文