一个数据仓库的设计架构
来自服务器大型 RDBMS 的数据通过 Sqoop 工具导入 HDFS/HBase
来自服务器的日志文件通过 Flume 工具导入 HDFS/HBase
数据通过 MapReduce 程序 ,Hive/pig/impala(一个类似 hive 的内存计算框架) 工具进行数据分析,并使用 Oozie/宙斯 进行任务调度
分析以后的数据存到HDFS上,由 sqoop 工具导入 RDBMS 中,供 WEB 服务器使用等
岑忠满的博客新站点
http://cenzm.xyz
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步