摘要: 20多天后,我们将步入2020年。在即将过去的2019年,人工智能、5G、数字货币等技术不断冲击着传统的数据治理模式,你所在的企业是否同样感受到了冲击?在这些难以言说的痛中间,又有多少是传统数据集成所带来的? 今年,随着数据驱动决策的理念逐渐深入人心,越来越多的企业开始逐步对存量的数据资产进行消费, 阅读全文
posted @ 2019-12-05 17:51 DataPipeline数见科技 阅读(940) 评论(0) 推荐(0) 编辑
摘要: ​ 导读: 作为现代企业和组织机构的重要资源,信息是进行科学管理与决策分析的基础。ETL 则是把数据转换为信息、知识的关键步骤之一。在 AI 应用场景下,数据集成有哪些特点?随着 AI 应用场景越来越多,为什么我们需要从 ETL 转换到 ELT?又会遇到哪些问题和挑战?本周三,陈肃博士与我们分享了《 阅读全文
posted @ 2019-12-02 16:50 DataPipeline数见科技 阅读(7044) 评论(2) 推荐(0) 编辑
摘要: 数据不仅仅是IT资产,而是一种企业资产,数据策略在一定程度上是一种企业战略。 阅读全文
posted @ 2019-11-22 11:20 DataPipeline数见科技 阅读(1519) 评论(1) 推荐(1) 编辑
摘要: DataPipeline在新版本的数据同步任务中增加了「自定义数据源」功能,用户可以通过上传JAR包的方式自定义获取数据逻辑。 阅读全文
posted @ 2019-10-25 14:47 DataPipeline数见科技 阅读(399) 评论(0) 推荐(1) 编辑
摘要: 本文将从数据融合角度,谈一下DataPipeline对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。另外,DataPipeline目前使用的基础框架为Kafka Connect。为实现一致性的语义保证,我们做了一些额外工作,希望对大家有一定的参考意义。 最后,会提一些我们在应用Kafka Connect框架时,遇到的一些现实的工程问题,以及应对方法。尽管大家的场景、环境和数据量级不同,但也有可能会遇到这些问题。希望对大家的工作有所帮助。 阅读全文
posted @ 2019-09-20 15:22 DataPipeline数见科技 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 在这篇文章中,我们介绍了Data Hub,这是LinkedIn元数据之旅中的最新进展。该项目包括模块化UI前端和通用元数据架构后端。 阅读全文
posted @ 2019-08-30 14:36 DataPipeline数见科技 阅读(962) 评论(0) 推荐(0) 编辑
摘要: 本篇将首先介绍一下一对多数据分发及批量读取模式2.0的功能 阅读全文
posted @ 2019-08-21 10:51 DataPipeline数见科技 阅读(604) 评论(0) 推荐(0) 编辑
摘要: 到2021年,CIO将像首席人力资源官那样担负起文化变革的职责,将“文化即障碍”的话题转向“文化即赋能”。 阅读全文
posted @ 2019-08-15 10:36 DataPipeline数见科技 阅读(966) 评论(0) 推荐(1) 编辑
摘要: 作者:DataPipeline CEO 陈诚 上周我们探讨了数据的「资产负债表」与「现状」,期间抛给大家一个问题:如果我们制作一个企业的“数据资产负债表”,到底会有多少数据是企业真正的资产? 数据出现问题并不仅仅是数据部门的原因,更多是组织架构及配合的问题。相较于追责某些工具,反而应该思考该用何种理 阅读全文
posted @ 2019-08-09 10:54 DataPipeline数见科技 阅读(1766) 评论(0) 推荐(0) 编辑
摘要: 作者:DataPipeline CEO 陈诚 《跨越鸿沟》的作者Geoffrey Moore曾说“没有数据,运营企业就像一个又聋又瞎的人在高速上开车一样”。数据的价值从未像现在这样被企业重视,IDC预估,到2020年,全世界会有44万亿G数据,每一个世界500强的CEO和独角兽创业公司的创始人都在思 阅读全文
posted @ 2019-08-05 11:02 DataPipeline数见科技 阅读(694) 评论(0) 推荐(0) 编辑