摘要: 昊合数据整合平台 (HaoheDI) 是一款轻量级数据整合类工具软件,产品采用先抽取加载到目标数据库后再进行清洗转换的ELT方式,实现企业内数据整合的开发工作,同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能,为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一 阅读全文
posted @ 2017-07-03 15:56 柳青南 阅读(1819) 评论(0) 推荐(0) 编辑
摘要: Kettle(PDI) HaoheDI 学习成本 熟练掌握至少需要1个月时间,开发人员通常需要1、2个Kettle的项目经验。 熟练掌握1天时间,开发人员只需要掌握数据库的SQL开发即可,无需ETL工具经验。 调度计划 生产环境主要是通过操作系统自身的调度机制调度命令行的方式实现,linux下需要写 阅读全文
posted @ 2017-06-27 14:35 柳青南 阅读(764) 评论(0) 推荐(0) 编辑
摘要: 一. Greenplum简介 大数据是个炙手可热的词,各行各业都在谈。一谈到大数据,好多人认为就是Hadoop。实际上Hadoop只是大数据若干处理方案中的一个。现在的SQL、NoSQL、NewSQL、Hadoop等等,都能在不同层面或不同应用上处理大数据的某些问题。而Greenplum数据库作为一 阅读全文
posted @ 2017-06-26 15:13 柳青南 阅读(1127) 评论(0) 推荐(0) 编辑
摘要: 企业信息化建设过程中,业务系统各自为政、相互独立造成的“数据孤岛”现象尤为普遍,业务不集成、流程不互通、数据不共享……。这给企业进行数据的分析利用、报表开发等带来了巨大困难。在此情况下,数据仓库的建设就显得必不可少了,将相互分离的业务系统的数据源整合在一起,建立一个统一的数据采集、处理、存储、分发、 阅读全文
posted @ 2017-06-19 15:39 柳青南 阅读(5732) 评论(1) 推荐(0) 编辑