1.基础数据的维护,基本都是人工实现
2.慢慢基于文件进行导入
3.专业的数据交换平台
=================================
Kettle:数据导入不是采取数据库模式,因为数据库要求无逻辑,所以基于逻辑抽取,也就是一个ETL的过程。
所以使用开源的Kettle工具:
1.完善的UI
2.优秀的代码组织结构
使用场景:
BI里面的数据导入,也就是ODS层的数据导入
这仅仅是基于医疗BI的一些ETL设计,其实就是从一个数据库抽取到另一个数据库里面的过程,下面是通过Web实现的:
最近接触的一些数据交换平台的实现机制,通过界面可以ETL思想在项目中的使用。
此处达到实时的数据抽取,可以借鉴Oracle的CDC,oracle GG、MySQL的主从复制的思想以及消息服务器
===================================
名词:
ETL
抽取
校验
映射
抓取
调度(定时,手工)