大数据如果你只会离线计算，这个项目可以帮你完善一部分知识点

在大数据开发从业人员中相信很多涉及的工作内容以离线计算居多，对数据是怎么采集的，如何采集，数据结构该设计没有清晰的了解
在查阅相关数据产品后发现了某开源的SDK，数据模型设计非常的巧妙，支持全量埋点和自定义埋点数据采集，本接口经过相关测试，已可兼容该SDK采集数据
后续可接入Flume、Flink、Spark、Hive等相关大数据进行数据分析，希望能帮助企业快速搭建大数据分析平台
本接口项目基于openresty开发

该代码进行了初略的性能测试，在400QPS下，8C32G服务器CPU占用仅10%左右，消息数据采用异步提交，在单机压力在4000QPS情况下不需要通过日志轮转的形式去采集数据

 

项目地址：https://gitee.com/shenglx/big-data-acquisition

如有侵权请联系处理