摘要: ODS-BI 建设中ETL要占用1/3的时间,深有感触。BI的建模,从物理数据层,逻辑数据层,业务逻辑层各个层次,都有很多自动化的工具可以处理。但是ETL 中的流程确要根据性能来设计的。总结下这几个部分。 1.数据源/数据目标管理确定数据源的表,文件,或者RESTFUL的URL,ODBC,值得注意的是,在数据源时,同时关联号外主键关系,对ETL数据有效性帮助很大。 目标数据,可能不同的主题使用了不同的数据库,各个数据库的地址,ODBC,JDBC等信息。 目标数据大部分情况下不需要建索引,主键,因为 目标数据库数据量大时都会使用批量入库,也就是bulk模式,索引会使入库失败。 2.MAPPIN. 阅读全文
posted @ 2013-02-20 10:54 jerry_xing8 阅读(2229) 评论(0) 推荐(0) 编辑
摘要: 这个项目在年前已经完成,回顾起来小问题挺多。有点乱。还是从需求说起。 一.单纯讲需求每个行业的都不同。很难划一而论。总体来说也就是这几个方面 1.时间窗 常见的分类也就1类ODS ,II类ODS ,III类ODS I类ODS:与应用系统的数据延迟为1~2秒,实时或近似实时 II 类ODS:与应用系统的数据延迟为2~4小时 III类ODS:与应用系统的数据延迟为12~24小时 IV类ODS:数据仓库中部分决策分析数据回流至ODS中 数据实时性越高,越好CPU ,软件成本越高。在 选型时也不同, 如果确定数据的实时性需要实时同步的话,就是I类ODS,通常需要EAI ,消息队列,消息通信的机制。稍. 阅读全文
posted @ 2013-02-20 10:02 jerry_xing8 阅读(1430) 评论(0) 推荐(0) 编辑
摘要: 总结: 其实没有找到问题的真正原因,无解,灵异事件。 猜测 是在做数据库导入导出之后,又有人重新编辑了地图或者其他SDE属性,导致数据库不一致问题。 1. SDE 连接远程数据库的相关问题。2. SDE直接连接的问题。 3. ARCGIS 地图版本的问题。 4. ARCCALOG 同 SDE版本的问题。 ---这个我没有碰到,但是很多网友碰到了此类的问题。 5. ARCCALOG 中GEOPROCESS 工具箱中 升级和同步 GEODATABASE 。 。。。。。。。。。。。。。。。。。 阅读全文
posted @ 2013-02-20 09:00 jerry_xing8 阅读(396) 评论(0) 推荐(0) 编辑