数据仓库和ETL建设

时间:2022-10-12 17:23:58

 

这个是Ralph kimball ETL的书籍,其中第10章主要讲如何管理数据仓库团队,ETL团队是属于数据仓库团队的;第一章和第二章是概况性的介绍,强烈建议大家都看下1/2/10章,对于大家形成对数据仓库和ETL共同的认识。

     下面和大家分享下一些观点,英文的都是从Ralph kimball的书里面摘抄下来的,大家可以到书中对应章节看更详细的介绍,中文截图来自互联网。希望对大家形成common knowledge有帮助。

  1. ETL团队必须和业务需求结合在一起

数据仓库和ETL建设

2. ETL团队的角色包括数据仓库架构师和ETL系统设计师:

数据仓库和ETL建设

   3. ETL是数据仓库的中心:

数据仓库和ETL建设

4. 不应该由数据建模人员或者业务人员来制定ETL小组的时间表:

数据仓库和ETL建设

5. 确保ETL团队参与到数据仓库开始建设的会议:

数据仓库和ETL建设

    6. 是否应该选择ETL的比喻,如果你唯一的工具是锤子,那么你看到的所有东西都是钉子。结论是:ETL工具的必要性是毋庸置疑的。

数据仓库和ETL建设

7. ETL设计和实现的工作量一般占总项目工作量的40%-60%(来自互联网); http://blog.itpub.net/16312004/viewspace-475211/  ETL和ELT的区别。

数据仓库和ETL建设

Ralph kimball的应该更权威,他认为数据仓库70%的时间都在做ETL:

数据仓库和ETL建设

具体是多少数字,不用太究竟,需要强调的是,在建设数据仓库的过程中,我们需要花很大的时间和精力在ETL的建设上。

8. 数据仓库团队的角色:

数据仓库和ETL建设

9. ETL团队的职责:

数据仓库和ETL建设

10. 招聘ETL成员的面试题,P399页:

数据仓库和ETL建设

11. 如何打造和守住一个优秀的ETL团队:P398:

数据仓库和ETL建设

12. 应该在大脑里开两个线程来思考ETL:


数据仓库和ETL建设


大数据产品线

       张 超