数据仓库之我见

什么是数据仓库?用简单易懂的语言表述就是“将我们用到的数据从一个或多个数据库中抽取出来放到另外的一个数据库中以方便我们的使用”或者说将数据从生产库中提取数据到应用分析库中。在此过程中对生产库中的数据只用到了查询操作,而应用分析库中的数据我们则可以进行增删改查的操作。

    为什么要进行抽取处理?我们可以从两个方面来说,即性能、控制。提高生产效率、对数据进行控制分析,那就要建立一个数据仓库。

     ETL处理(抽取、转换、加载)是数据仓库中的一种实现方法,数据抽取可以一步到位,也可以分多层进行抽取,这要根据实际情况来定,往往数据抽取对性能的要求比较高,所以在抽取的过程中要考虑中间表的问题,当遇到大量的数据抽取时往往要重复用到某个表中的数据,这种情况下我们应该在应用分析库中建一个临时表存放该数据,以后用到此数据的话直接从该临时表中取数。这样可大大提高效率。另外如果你有抽数工具的话尽量用此工具进行数据的抽取转换,这样可大大提高抽数效率。

出处:http://lvweiwork.blog.163.com/blog/static/99061582008428105814849/

posted on   jack_Meng  阅读(477)  评论(0编辑  收藏  举报

编辑推荐:
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?

导航

< 2012年11月 >
28 29 30 31 1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示

喜欢请打赏

扫描二维码打赏

支付宝打赏

主题色彩