TapData + 实时数仓：实时数据如何赋能船舶制造业，助力数字化应用升级和科学管理运营
使用 TapData，化繁为简，摆脱手动搭建、维护数据管道的诸多烦扰，轻量代替 OGG、DSG 等同步工具，「CDC + 流处理 + 数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓”方法论落进现实。
TapData 持续迭代产品能力，优化用户体验的同时，也在不断探索各行各业数据需求的底层逻辑，力求为行业用户提供更加简洁、更具针对性的解题思路。本期内容便是我们在船舶制造行业做出的实践。
TapData 在满足我们的数据需求、便捷上线、高效维护等方面都表现出色，再加之相当完善的数据源支持，对于我们的数据开发团队而言无疑是一个得力的助手，为我们打造了更好的数据处理和应用体验，让我们看到了切实的降本增效。期待在未来继续深入合作。
智能制造的挑战与灵活生产的复杂之间，传统制造业正在积极探索数字化新模式。
制造企业不仅着眼于引入物联网、人工智能等先进技术，以实现生产流程的智能化和高效化，同时面对市场需求的不断变化，以及环保法规的约束升级，也更加强调灵活生产的重要性。在这样的大趋势下，数据的价值被不断放大。为了保障生产过程的实时监控和数据采集，企业加紧连接各生产环节，以求更准确地掌握生产状况、优化供应链，为个性化生产打好基础。此外，全面完备的数据分析能够帮助企业深度洞察市场动向和客户需求，继而辅助智能决策……这些数字化手段无论在适应竞争日益激烈的全球市场方面，还是在优化内部人员管理，降低能耗，提升产能等需求上，均发挥着关键作用。
这一变革一方面将传统制造业带入更为智能、灵活、创新的未来，为行业的可持续发展注入新动力；另一方面也将企业引向寻找数字化转型“平衡点”的新路——在技术创新与综合成本投入之间找到最佳的结合，以确保在数字化转型中既实现高效运营，又最大限度地提升综合经济效益。
而作为老牌国有制造企业，在落实数字化转型上一直走在前列的某知名造船企业也遇到了一些新的挑战。
一、起锚：数字化转型浪潮下，迫切的数据萃取需求
作为业内极具规模化、现代化、专业化和影响力的造船企业之一，该造船企业近年来积极引入 AR、5G、人工智能、物联网、大数据分析等技术，加速落地智能仓储、智慧大脑、三维数字模型平台、远程检验工作室等先进应用，切实做到了将数字化创新贯彻落实到生产应用以及企业运营管理的每一个环节。
而作为一切数字化应用的基础养料，数据资源的重要价值也在这一过程中愈发凸显。企业内部自上而下关于数据的萃取以及数据价值的挖掘需求逐渐增强，迫切希望以数据驱动企业的数字化转型与业务创新。
当不断新生的应用创新需求，遇上船舶建造的独特“基因”，新的数据挑战也接踵而至：
1. 物料管理难
- 庞大的零部件数量： 这是船舶建造常被行业外忽视的一个特征，实际上，船舶所需的零件数量往往巨大，动辄上千万。故而中间产品体量也极大，涉及大量分段，由此拼接而成的总段重量可达千吨。因此，需要能够有效处理这些庞杂的零部件信息，确保数字化追踪和管理系统的高效性，以保障零部件供应链的稳定可靠。
- 物料协同与协调： 数据化转型应解决分布广泛的物料和中间产品之间的协同与调度挑战，以提高物流协同性和中间产品装配的数字化复杂性管理。
2. 工艺优化与复杂性管理
- 舾装工艺复杂性： 作为船舶建造的关键一环，舾装工艺涉及到安装和组装船舶的各种设备、仪器、设施以及内部结构。这个过程相当复杂，因为船舶的结构和用途各异，舾装需要考虑的因素众多。针对现状工艺的复杂性，也需要通过实时监控和反馈、虚拟仿真模拟等手段，实现工艺优化，提高装配效率和准确性。
- 多维度管控工程计划： 鉴于船舶建造周期长、涉及众多复杂的工程计划等特点，还需要对项目的各个方面进行全面、深入的管理和监控，以提高调整和管理的精确性。例如收集建造过程中的实时数据，帮助管理团队及时了解项目执行情况，及时调整计划，防范潜在问题；
3. 特殊环境和气候条件：
- 户外作业挑战： 船舶建造往往需要在特殊环境中进行，可能包括高海上、高空中或恶劣天气条件下的户外作业，随时可能面临极端天气，需要实时监控环境数据，包括风速、海况、温度等，为工人提供准确的安全信息。判断潜在危险，提前预警，并采取必要的安全措施，确保户外作业的安全性。
4. 人力资源与技能挑战：
- 人员调度和管理的复杂性：船舶建造本质上仍然是劳动密集型工种，需要实时监控员工的工作状态和生产进度，以便进行合理的调度和资源分配。通过实时分析各个计划节点所需的人力、物资、设备等资源，帮助管理层更好地了解生产线上的状况，提高调度的准确性和及时性，从而在整个项目周期内实现资源的最优配置，实现降本增效。
- 大型团队的人事管理：对于总人员数超 2 万的大型团队而言，无论是要实施更精准科学的绩效评估、激励机制，还是希望实施更精细化的员工福利管理，都依赖数据的驱动。
- 工具培训与技能提升：数字化培训和提升员工数字化意识与技能变得至关重要，考虑到传统制造行业的 IT 专业人才并非主体，这就对新引入的数字化工具的易用性提出了更高的要求。
因此，面对内部管理决策层的数据分析结果的实时“可视化”需求，以及实现效益优化、提升国际竞争力的最终目的，我们的客户迫切需要找到一个能实时、准确、稳定地从各个信息源获取数据，灵活供给各个不同数据消费方使用，让数据真正发挥其应有价值的解决方案。
二、寻航：连通实时数据管道，搭建实时数据平台
该造船企业数据特点：
① 数据实时分析需求大：为了实现实时监测、科学决策，以“智慧大脑”等应用为代表，对包含仓储物流、设备信息、工人信息等在内的信息都要求能够做到实时获取、实时分析。
② 运行系统多样：包括设备管理系统、物联平台系统、内部车联网系统、制造系统、派工系统、供应链系统、员工考勤系统、智能 BI 系统在内，多个系统协同运转，数据来源和目标复杂，且信息分散
③ 数据类型多样：覆盖 Oracle、MySQL、TiDB、MongoDB、TDengine 等多个数据库，异构数据库间的数据同步任务重
综合考虑到自身数据资源的特点，随着应用系统的持续新增，以及数据量的不断累积，想要真正盘活这些数据资源，就不得不考虑如何建立多源的实时数据采集系统，并设计一个统一的数据存储和管理平台。
起初，在工具方面，我们的客户选择了一些开源中间件，来承载这些数据同步的需求，其中就包括拥有图形用户界面的 Kettle。然而随着业务的调整和不断扩展，数据同步任务的量级也逐渐加大，此时这套自建方案在成本控制和运维投入上的压力也就渐渐暴露出来：
- 缺少任务管理系统：Kettle本身并没有强大的任务调度和监控机制，在实际生产环境中，对于大规模的数据同步任务，尤其是需要按时执行、定时调度或实时监控的情况，由于没有独立的任务管理系统，Kettle 需要依赖操作系统的调度器或其他外部工具来来支持任务的触发、调度、监控和管理，也很难及时发现问题并告警。
- 批处理导向：作为一款传统的 ETL 工具，其设计初衷更倾向于离线数据处理，主要采用批处理的方式，因此无法满足越来越普遍的数据实时性需求。
- 分布式部署： Kettle 不支持分布式部署，难以支持日益增加的数据传输复制任务
至此，客户对新数据解决方案的需求已经相当清晰了，即：
- 拥有丰富的数据源支持，能够快速整合分散信息
- 支持异构数据库数据实时同步，实现数据实时入仓
- 自身配备可视化的任务管理界面
- 学习成本和技术门槛低，界面简单，轻量易操作
以低延迟数据复制为核心优势构建的现代数据平台 TapData 恰好与这样的需求背景完美契合，数据入仓也正是其典型用例之一。新工具的引入成功为我们的客户带来了全新的实时数据体验。
三、乘风破浪：TapData + 实时数仓 + BI 系统，让数据有用、易用、可视
经过审慎调研，该造船企业团队决定充分利用 TapData 的实时数据同步能力，高效从各个源业务系统采集现场数据、员工信息等，打造自己的实时数据融合平台，为下游的用户端、制造系统、派工系统、供应链以及 BI 系统等数据需求方实时供数，满足报表分析、智慧大屏、考勤就餐、健康打卡、项目管理、设备智能管理等业务场景的应用需求。
借助 Tapdata，企业可以轻松连接所有数据源，并可视化完成复制及转换，无需专业的编程能力，即可完成复杂的数据集成和开发。DBA、架构师、数据工程师甚至业务人员，都可以利用 TapData 快速准备所需的一切数据。
A. 船舶制造实时数据平台的整体规划
以实时数仓为核心存储，结合实时数据捕获、流处理和集成工具 Tapdata，形成一个完整的实时数据平台，用以满足企业在数字化转型中对数据资源和数据价值挖掘的需求。
- 数据采集层：
- Tapdata： 作为集成工具，可以连接多种数据源，包括 TiDB、MongoDB、Oracle、TDengine 等。TapData 提供了数据连接、数据同步、数据转换、清洗和分发的功能，支持构建数据流程。
- 数据存储层 FDM：
- Tapdata： 作为实时数据捕获和流处理工具，连接源库数据同步到TiDB，实时捕获变更，并支持流式数据处理。TapData 提供了易用的界面和强大的功能，适用于构建实时数据处理流程。
- TiDB 集群： 从数据源进行 1:1 复制，转换成结构化数据，存放到实时平台的统一数据缓存层 TiDB 集群，创建基础数据模型，涉及多个基础数据表，如：设备表、维修记录、人员信息、设备点检记录等存储生产数据、设备状态等信息。
- 数据处理层 MDM：
- Tapdata： 作为实数据处理工具，对 FDM 层进行数据同步、字段处理、字段赋值到 MDM 层。
- TiDB 集群：作为平台加工层，从 FDM 层的一个主表和多个从表合并而成的宽表，用实时任务制作生成，主要完成数据的清洗、增强、补全和规范化处理等工作，对业务数据进行数据加工处理并保证实时更新。MDM 将用于管理企业的关键数据，并为该数据提供统一的参考源。在这一层，我们将对数据进行去重、标准化、规范化，以防错误数据进入系统。由此生成的主数据集，将作为供给企业后续各项数据需求的单一、可信数据池。
- 可视化与报表：
- 帆软 BI： 连接到 TiDB，用于构建可视化报表和仪表盘。
整体而言，使用 TapData 的方案能够更加轻松地构建实时数据处理流程，通过其可视化的操作界面，简化了流处理和数据集成的配置过程。这有助于提高团队的效率，同时保证数据的实时性和准确性。
成果反馈
得益于实时数据平台方案的突出优势，我们的造船企业客户在数字化转型数据层面的创新实践中实现了真正的降本增效。除去资金、人力成本等的优化，数据时效性的提升也是该方案的关键亮点之一。
在船舶建造行业，数据的实时性对于确保生产过程的安全性和高效性至关重要。以叉车超速的实时警报为例，实时监测叉车的运行速度可以迅速识别并响应潜在的安全风险。
船舶建造现场通常涉及大量移动设备，其中，叉车用于搬运和运输重要材料。在这个环境中，叉车的超速可能导致严重的事故和损害。通过实时监控叉车的运动速度，系统能够即时检测到任何超速行为，并立即触发警报。借助 TapData 的实时能力，此类重要响应信息得以及时通知到相关人员，使其能够迅速采取措施，如停止叉车、调整速度或警告操作员，从而降低潜在事故的风险。
此外，实时数据还对于生产过程的优化和效率提升起到关键作用。定期向决策管理层交付信息报告的模式逐渐不能满足内部敏捷管理运营的需求，实时掌握当前动向的新需求继而被提出。通过及时获取关键数据，管理团队可以实时监测船舶建造的各个环节，及时进行管理干预，从而做出迅速的决策，优化生产流程，提高整体效率。这对于满足紧张的工程计划、减少生产停滞时间以及确保项目按时交付具有重要意义。
再以其内部近期部署的新型管理业务为例，该业务主要涉及 ERP 系统，而考勤模块也是 ERP 系统的核心数据之一。组织内部，员工的考勤数据通过刷脸、门禁等手段采集，这些事件被订阅并留存到 Oracle 数据库中。随着业务的繁忙，原本直接基于 Oracle 的分析聚合查询缺陷开始暴露，工时统计等信息输出缓慢，可能需要1～2分钟才能刷新移动端的数据界面。
对此，仍然可以借由 TapData 这一套方案来解决——通过 TapData 实时将数据导入到 TiDB，并使用预先构建的数据模型，实现了在数据处理和分析过程中的显著性能提升。具体而言，Tapdata通过实时数据捕获技术，将不断产生的实时数据即时传输到 TiDB 中，保障了数据的及时性。与此同时，利用 TiDB 的强大处理能力，事先对数据进行了优化和整理，使得数据在存储和检索时更为高效。这种结合实时数据流和优化模型的方式，有效地减少了数据处理的时延，使得企业能够以更快速度获取实时洞察，支持业务决策的迅速响应。这一改进不仅使得移动端应用的人事和生产部门能够在秒级内获取到实时的工时统计数据，极大提升了业务响应速度和用户体验，更为企业数据驱动的决策提供了更为可靠的基础。
相较于开发自建，这样的现代化数据平台方案，实现了数据时效性从分钟级到秒级的 60 倍跃升，同时基于其轻量可扩展的特性，为企业节省了大量资金和人力成本的投入。基于 TapData 全量及增量同步的能力，对分散信息进行有效整合，让关联信息真正实现“融合”可用，帮助新的业务需求实现加速落地。最终助力企业将数字化创新贯彻落实到生产应用和企业运营管理的每一环，有望更好地应对这些挑战，从而在竞争激烈的市场中赢得宝贵的时间和数据资源优势，持续引领全球船舶海工装备发展潮流。
1+1＞2 的实时数仓创新实践：结合 DBT 工具实现指标计算能力
“不拘泥于一种工具，不给方案设限”是该企业团队在构建实时数仓过程中做出的创新实践。借助 TapData 实时数据平台优秀实时支撑能力，企业成功应对了内部大量的实时业务需求。
然而，在面对一些批量指标的计算时，例如每天、每周、每月的物料消耗和项目工时等指标的批量计算，如果仍然采用流式计算方式，反倒显得更加复杂繁琐。为了解决这一问题，该企业团队引入了DBT，这是一个开源的数据加工和处理工具，支持模块化的数据建模和 SQL 驱动，很好地满足了对应的批量任务需求。
通过引入 DBT，能够更高效地处理大量指标的计算，将批量计算任务转化为更为灵活、可维护的数据模型，实现了对批量计算指标的快速处理。由此一来，TapData 与 DBT 得以各司所长，使得实时数仓方案更具灵活性和可扩展性，展现出更高的性价比与数据处理效率。
上述内容也只是实时数据平台所展现出的能力一角，实时、可复用数据资源的更多潜力，等待您和 TapData 一同解锁。
采用 TapData 实时数据平台解决方案有哪些优势？
- 广泛的数据源和目标支持：内置 100+ 数据连接器，稳定的实时采集和传输能力
- 学习成本低，轻量易上手：开箱即用与低代码可视化操作，支持数据模型预览，无需专业的编程能力，即可完成复杂的数据集成和开发。
- 更实时，更高效：兼具秒级响应的数据实时计算能力，以及稳定易用的数据实时服务能力
- 支持数据、任务分类：可根据不同项目自定义标签，方便快速筛选查找，有助于对跨部门协同管理及后续维护
- 支持平台级数据校验：有效保障数据一致性
- 可视化任务运行监控和告警：20+ 可观测性指标，实时监测任务最新状态
