大数据平台建设实践
一 大数据平台建设背景
笔者所在公司，经过多年的信息化建设，关键的业务都已经实施了IT系统，例如MES， EAP， ERP等。 但是数据的使用还停留在初级阶段，几乎所有生产相关的KP报表都是手工创建。管理层认为，大量的历史数据存储需要付出成本，但是没有去挖掘数据背后的价值，对于公司来说，数据分析是个巨大的机会。经过初步分析，主要痛点如下：
- 数据处理不能自动化
- 数据没有可视化，没有标准ＫＰＩ
- 数据量大，性能不佳
- 数据和业务系统没有融合
- 机器产生的错误报警，不能全面监控，并解释
- 没有人分析挖掘数据
二 大数据平台选型
大数据平台要满足以下几点要求。
- 平台稳定 Stability
- 考虑到以后会有实时数据监控，并且需要反馈到业务系统的应用，因此平台的稳定性很重要，期望平台可以24*7稳定运行，没有宕机时间。
- 支持HA
- 同第一点，由于AI/BI业务应用希望平台可以24小时无宕机，所以需要平台支持高可用性，在系统打补丁或者其他维护期间，可以不用停系统，做到在线升级维护。
- 平台提供冗余服务，如果个别服务器意外宕机，不影响整个平台的正常运行。
- 性能好 Performance
- 由于数据量大，用户多，所以数据处理和查询的压力很大，希望平台的性能可以满足大量查询要求。
- 可以实现资源隔离 Resource
- 由于平台有多任务运行，既有数据采集处理，又有
- 容易扩展 Scalability
- 随着数据量或者使用量的增加，可以随时通过数据节点的增加，提升系统的性能
- 支持流处理和批量处理，最好是Kappa架构， 不是Lambda （ λ ），避免维护两套系统 - Kappa
- 支持数据流的全流程监控和可视化 Data flow monitoring
- 由于数据从源头到目标表，中间需要经过多个Job的处理转换，需要一套工具可以监控到整个数据流的状态，一旦数据处理异常，可以即刻报警。
- 元数据目录管理 Data Catalog
- 对于每张表，每个字段都有对应的技术描述和业务描述。
- BI和AI工具
三 用户用例选择
由于大数据平台需要大量投资，公司首先考虑的是投资回报，所以第一批用户用例的选择很重要，既要容易实现，又要有好的ROI。经过业务部门内部讨论，确认需要实现下面几个用例。
- 数据相关性分析，用于快速查找出问题Lot的根因
- 测试数据的分析，通过数据分析，确保一次测试结果可靠，减少重复测试
- 报表自动化，目前很多报表都是手动的，通过大数据平台实现数据自动化
- FDC
四 大数据平台建设
