数据仓库和ETL建设
这个是Ralph kimball ETL的书籍,其中第10章主要讲如何管理数据仓库团队,ETL团队是属于数据仓库团队的;第一章和第二章是概况性的介绍,强烈建议大家都看下1/2/10章,对于大家形成对数据仓库和ETL共同的认识。
下面和大家分享下一些观点,英文的都是从Ralph kimball的书里面摘抄下来的,大家可以到书中对应章节看更详细的介绍,中文截图来自互联网。希望对大家形成common knowledge有帮助。
- ETL团队必须和业务需求结合在一起:
2. ETL团队的角色包括数据仓库架构师和ETL系统设计师:
3. ETL是数据仓库的中心:
4. 不应该由数据建模人员或者业务人员来制定ETL小组的时间表:
5. 确保ETL团队参与到数据仓库开始建设的会议:
6. 是否应该选择ETL的比喻,如果你唯一的工具是锤子,那么你看到的所有东西都是钉子。结论是:ETL工具的必要性是毋庸置疑的。
7. ETL设计和实现的工作量一般占总项目工作量的40%-60%(来自互联网); http://blog.itpub.net/16312004/viewspace-475211/ ETL和ELT的区别。
Ralph kimball的应该更权威,他认为数据仓库70%的时间都在做ETL:
具体是多少数字,不用太究竟,需要强调的是,在建设数据仓库的过程中,我们需要花很大的时间和精力在ETL的建设上。
8. 数据仓库团队的角色:
9. ETL团队的职责:
10. 招聘ETL成员的面试题,P399页:
11. 如何打造和守住一个优秀的ETL团队:P398:
12. 应该在大脑里开两个线程来思考ETL:
大数据产品线
张 超