一、数据仓库
数据仓库(Data Warehouse),是为企业所有决策制定过程,提供所有系统数据支持的战略集合通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本、提高产品质量等数据仓库,并不是数据的最终目 的地,而是为数据最终的目的地做好准备。这些准备包括对数据的:清洗,转义,分类,重组,合并,拆分,统计等等
二、项目需求
1、用户行为数据采集平台搭建
2、业务数据采集平台搭建
3、数据仓库维度建模
4、分析,用户、流量、会员、商品、销售、地区、活动等电商核心主题,统计的报表指标
5、采用即席查询工具,随时进行指标分析
6、对集群性能进行监控,发生异常需要报警
7、元数据管理
8、质量监控
三、技术选型
【1】思考题
1、项目技术如何选型?
2、框架版本如何选型(Apache、CDH、HDP)
3、服务器使用物理机还是云主机?
4、如何确认集群规模?(假设每台服务器8T硬盘)
【2】技术选型主要考虑因素
- 数据量大小
- 业务需求
- 行业内经验
- 技术成熟度
- 开发维护成本
- 总成本预算
【3】使用的技术
1、数据采集传输:Flume,Kafka,Sqoop,Logstash,DataX
2、数据存储:MySql,HDFS,HBase,Redis,MongoDB
3、数据计算:Hive,Tez,Spark,Flink,Storm
4、数据查询:Presto,Druid,Impala,Kylin
5、数据可视化:Echarts、Superset、QuickBI、DataV
6、任务调度:Azkaban、Oozie
7、集群监控:Zabbix
8、元数据管理:Atlas
9、数据质量监控:Griffin
四、系统数据流程设计
数据来源:
- 埋点用户行为数据
用户在使用产品过程中,与客户端产品交互过程中产生的数据,比如页面浏览、点击、停留、评论、点赞、收藏等 - 业务交互数据
业务流程中产生的登录、订单、用户、商品、支付等相关的数据,通常存储在DB中,包括Mysql、Oracle等
架构图:
五、框架版本选型
1)如何选择Apache/CDH/HDP版本?
- (1)Apache:运维麻烦,组件间兼容性需要自己调研。(一般大厂使用,技术实力雄厚,有专业的运维人员)(建议使用)
- (2)CDH:国内使用最多的版本,但CM不开源,今年开始要收费,一个节点1万美金
- (3)HDP:开源,可以进行二次开发,但是没有CDH稳定,国内使用较少
2)Apache框架版本
3)CDH框架版本:5.12.1
六、服务器选型
1)物理机
以128G内存,20核物理CPU,40线程,8THDD和2TSSD硬盘,戴尔品牌单台报价4W出头。一般物理机寿命5年左右
需要有专业的运维人员,平均一个月1万,电费也是不少的开销
2)云主机
以阿里云为例,差不多相同配置,每年5W
很多运维工作都由阿里云完成,运维相对较轻松
3)企业选择
1、金融有钱公司和阿里没有直接冲突的公司选择阿里云
2、中小公司、为了融资上市,选择阿里云,拉倒融资后买物理机
3、有长期打算,资金比较足,选择物理机
七、集群规模
1)如何确认集群规模?(假设:每台服务器8T磁盘,128G内存)
- 1、每天日活跃用户100万,每人一天平均100条:100万*100条=1亿条
- 2、每条日志1K左右,每天1亿条:100000000/1024/1024=约100G
- 3、半年内不扩容服务器来算:100G*180天=约18T
- 4、保存3副本:18T*3=54T
- 5、预留20%~30%Buf=54T/0.7=77T
- 6、算到这:约8T*10台服务器
2)如果考虑数仓分层?数据采用压缩?需要重新再计算
3)测试服务器规划
本文来自博客园,作者:大码王,转载请注明原文链接:https://www.cnblogs.com/huanghanyu/