业务数据“一站式”数据管理平台,从设备实时数据和业务应用数据两个方面要彻底解决“信息孤岛”的问题

 1. 产品背景

工业数据大致分为两种数据:设备实时数据和业务应用数据。

设备实时数据的管理是iNeuOS工业互联网操作系统的基础平台重要组成部分,要求数据的实时性、稳定性,通过设备驱动(数据交互驱动)、服务驱动(数据事务处理驱动)、设备模型(设备实时通信及处理)、业务模型(数据分组建模)、资产模型(数据空间规则提取)、计算平台(数据计算与预警)、数据分析、数据转发、视图建模(2D/3D数据展示)、流程控制(数据反向操作)、算法分析(数据算法分析)、Excel报表设计(数据报表模板设计与应用)等对设备实时数据进行流程化处理和应用。

业务应用数据是指一般工业企业已经建设的业务系统,针对众多业务系统的数据进行采集、存储、治理、管控、应用和发布等进行集成,通过数据建模、数据ETL、数据开发、数据集成、数据模板、报表应用、数据报告、数据看板和质量追溯等功能解决数据交互造成的数据管理困难、数据失真严重的痛点。优化企业生产中数据的存储标准和规范性,实现材料数据的质量追溯,助力企业对生产过程的全面管控和质量保证。

从设备实时数据和业务应用数据两个方面要彻底解决“信息孤岛”的问题和设备及业务数据融合应用的问题。

2. 产品简介

业务数据“一站式”数据管理平台以业务数据治理为目标,从业务数据的生产、采集、治理、应用、共享等多维度出发,结合生产业务场景进行应用拓展,形成一体化的业务数据管理平台。

底层平台基于微服务架构,对部署环境具有强适应性,可完美适配国产化环境。是企业级的应用开发、运行、管理、监控、维护的系统平台。

平台具有数据中心、数据采集、数据服务、数据开发、数据应用、数据可视化以及组件库、模板库、报告生成引擎和动态解析引擎等丰富的通用组件,是标准化、可视化、高扩展性的业务数据管理及开发技术平台。

3. 产品功能

3.1.    数据治理

3.1.1.      数据建模

数据模型是业务质量数据存储的纲领,数据治理平台提供可自主配置的数据模型功能,质量师可根据业务质量数据类型、归档方式等组织管理要求,建立相应的业务质量数据模型。

       1)自定义数据属性

系统可支持用户根据数据分类,创建并扩展数据模型,目前系统支持20余种属性定义。

        2)自定义属性布局

用户可对数据模型对应的页面布局进行自定义,将数据模型中的各个字段展示顺序,检索方式等信息进行定义。

       3)定义数据分类权限

数据治理平台为确保数据安全,提供完善的数据权限设定,用户可在数据模型中,对模型对应的数据信息设定新增、删除、修改、查看、导出、导入、发布等权限信息。

 3.1.2.      数据ETL

数据治理平台提供数据ETL应用,用户可使用自主配置的数据ETL工具,自定义数据合并、整合、清洗规则。通过数据ETL,数据治理平台可将导入数据、采集数据、集成数据、提取数据等各类来源的业务质量数据进行规则化的抽取、清洗转换之后加载到数据仓库,目的是将分散、零乱、标准不统一的数据整合到一起,为业务质量数据分析决策提供依据,是业务质量数据管理的重要环节。

用户可在在应用内,对输入数据集中的数据配置值抽取、合并、转换、分析、挖掘规则进行创建并配置,系统将根据定义的数据ETL规则完成对应的数据操作,并将数据处理结果输出至用户配置的数据集中,完成对是数据的整合操作,实现数据的深度利用。

3.1.3.      数据开发

数据开发功能是业务数据管理系统针对系统API的自定义配置功能,针对外部系统所需的业务测试数据,通过自定义的API配置,对业务数据库中的数据表、数据集通过查询方法定义的方式实现API服务的定义,当外部系统请求系统API时,系统将自动运行查询方法对数据进行查询并提供给外部系统。

1)向导式数据开发

利用向导式的数据开发工具,系统运维人员可自行进行数据API的开发和发布工作,确保系统的自主维护性和高拓展性,同时提升系统存储的业务测试数据的利用率。

        2)请求方式定义

利向导式的数据开发工具,在完成数据API基础属性定义后,数据管理员无需进行代码开发工作,使用系统提供的数据服务开发工具,即可轻松定义数据服务API,并快速发布。

       3)数据源配置

数据服务支持当前信息系统使用的各类型数据库作为数据源,用户可针对不同的业务系统进行对应的数据源配置

        4)查询结果定义

根据数据源中的数据结果类型,服务开发者可定义针对各结果的转换规则,平台提供规则制定工具,服务开发者可根据业务需求,定义对返回结果的转换、计算规则,服务启动后,平台会根据定义的规则进行数据转换或计算后存储至数据中心。

 3.1.4.      数据集成

数据治理平台数据集成支持对外部数据库、外部数据文件的数据集成,通过数据集成的方式,抽取并存储外部来源的业务数据,是业务数据管理系统的一部分数据来源。

       1)数据库集成

数据集成提供的数据库集成功能,是平台针对外部数据库提供的的数据连接提取服务,用于与外部数据库建立数据连接并抽取外部数据库中的数据。

        数据集成功能可以定义针对外部数据库的抽取SQL,平台将根据配置的抽取SQL查询并提取外部数据库中的数据,数据管理员可根据外部数据库的数据结构,完成数据抽取配置并定义抽取的数据字段。

        2)数据文件集成

数据集成提供针对数据文件的数据抽取功能,用户通过建立对数据文件中标题行字段的定义,将数据文件中的各字段的信息进行定义。平台将根据对数据文件中标题字段的定义自动建立相应的数据模型及数据表数据的存储规则,实现对外部数据文件中业务测试数据的抽取和存储工作。

       针对数据文件的集成配置完成后,系统将对数据文件中的数据列、数据字段信息进行定义,系统将在对应的数据模型中建立针对该数据的数据集,实现从数据文件中进行的数据抽取。

3.1.5.      数据模板

1)定义模板

平台提供数据模板编制功能,可在数据模板管理页面利用向导式、图形化的模板配置工具进行数据模板的配置工作,对数据模板进行规范化标准化的制定。

        2)在线设计

系统提供的数据模板应用采用基于数据表格的模板在线配置方式,质量师可通过对所选数据集字段的拖拽式的定义,实现从数据文件模板到数据库字段的存储配置工作。

 3.1.6.      数据导入

为解决测试试验过程中,因外协产生的第三方数据或者其它原因产生的外部数据的结构化管理需求,系统提供完善的数据导入功能,用于处理第三方或者外部数据的结构化管理。

1)数据导入

用户可通过下载默认的导入模板,或者通过自定义配置导入规则定义数据导入存储规则,系统提供拖拽式的自定义模板配置工具,用户可根据实际需求对模板中对应单元格的数据字段与数据模型中的对应字段进行关系定义,系统将在文件导入时通过定义的字段关系进行数据文件解析,并将解析后的结构化数据存储至数据库中。

       2)导入撤回

由于第三方数据、外部数据具有一定的不确定性,数据导入后,在数据审核过程中若发现数据质量问题或数据错误,需对导入数据进行撤销,系统提供数据导入的一键撤销功能,用户可在数据导入页面查看通过当前系统导入数据的状态,同时针对每一次的数据导入进行一键撤销操作,系统将根据导入记录将指定的导入数据进行撤销。

3.2.    数据应用

3.2.1.      复杂报表

1)报表管理

复杂报表应用是平台提供的数据报表制作工具,数据管理员可使用该应用结合实际业务需求对报表类型、数据源、格式等信息进行定义。用于对数据中心存储的产品数据进行报表输出。

2)报表配置

数据管理员可利用数据报表应用进行报表模板的配置,在应用页面添加基本信息、数据集、报表信息和数据字典的信息,并调整报表格式,形成报表模板,用于进行报表数据提取及输出工作。

        3)报表预览

报表应用通过配置的数据源、格式信息生成设定的报表文件类型,在遵循系统设定权限和数据标准设定权限的前提下,对应的用户可对生成的报表进行在线预览、打印或者下载等操作。

 3.2.2.      数据报告

1)报告模版配置

平台提供数据报告应用,用户通过配置报告模板的方式建立数据报告与数据集之间的数据关系,系统将通过报告模板查找对应的质量数据生成质量报告。

        2)报告预览查看

质量报告生成后,用户可在系统页面中对报告进行在线预览、下载打印、设定权限等操作。

 3.2.3.      数据看板

数据看板应用预置多种统计图表样式,用户可对数据中心存储的结构化数据进行图表维度配置,系统将根据数据源、数据类型、字段信息进行数据提取,用户配置将提出的数据生成数据统计图表。

        平台提供便捷的图表绘制、对比配置工具,用户可根据业务需求,针对性的配置数据源、数据模型,并通过拖拽的方式完成图表字段定义,平台根据用户配置实时进行对应的数据图表绘制

3.2.4.      包络分析

生产过程信息追溯系统提供包络分析功能,可针对产品生产过程中的关键参数定义包络线,并根据生产过程数据进行特定参数的包络分析,系统将依据包络参数设定对相应的数据进行监控,当该参数上传数据出现超包络时,系统将提示用户更新包络线,并形成包络更新记录,实现包络线的可溯源性。

1)参数分类

针对型号产品,用户可对产品的关键参数建立分类,系统提供用户自定义的分类创建工具,依据产品包络分析要求及产品参数组成,用户可创建具备层级的包络参数分类,如产品-分系统-部件-关键参数,并在定义的分类下进行包络参数的维护。

2)包络线溯源

针对系统分析得出的参数包络线,可通过包络线追溯的方式对包络线的来源及更新情况进行查看,系统将对所选包络线的来源及更新情况通过时间轴的方式进行组织展示,方便包络线的溯源。

       3)图形化包络分析

包络分析功能支持使用数据看板提供的图表控件,对特定参数的包络情况进行图形化的展示,通过设计图形页面,用户可快速了解产品关键参数的数值变化情况与包络线之间的关系,为质量分析控制提供便捷、直观的数据支撑。

3.2.5.      质量追溯

质量追溯是产品质量管理中的基本要求,质量数据管理系统利用质量数据库中存储的多维度产品质量数据,通过关联查询的方式,快速实现对产品质量数据各个维度的质量追溯功能。

       1)产品追溯

通过产品编号进行质量追溯,利用产品的配套关系,系统可查询该产品配套的部件、组件、零件、材料各级元素的质量数据。

2)外购件/元器件追溯

通过外购件/元器件的批次信息,通过查询质量数据中存在该批次外购件/元器件配套关系的各级产品组件,并获取其质量数据,实现在外购件/元器件维度的质量追溯。

3)原材料追溯

通过原材料的批次、炉批号等信息,在质量数据库中定位该原材料应用的产品组件,获取对应的产品信息,实现材料维度的质量追溯。

4)仪器设备追溯

通过产品质量数据库中存储的产品生产、检测所用的仪器设备信息、使用时间信息,针对仪器设备进行质量追溯。


物联网&大数据技术 QQ群:54256083

物联网&大数据项目 QQ群:727664080
QQ:504547114
微信:wxzz0151
博客:https://www.cnblogs.com/lsjwq
微信公众号:iNeuOS

posted @ 2023-08-16 12:05  iNeuOS工业互联网系统  阅读(593)  评论(0编辑  收藏  举报