ETL 工具和 BI 工具

ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具（Datastage，Informatica，Kettle）！

ETL是什么？

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。（数据仓库结构）通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节，其设计的好坏影响生成数据的质量，直接关系到BI项目的成败。

 

为什么要用ETL工具？

▶ 当数据来自不同的物理主机，这时候如使用SQL语句去处理的话，就显得比较吃力且开销也更大。

▶ 数据来源可以是各种不同的数据库或者文件，这时候需要先把他们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦。

▶ 在数据库中我们当然可以使用存储过程去处理数据，但是处理海量数据的时候存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据资源不足，进而影响数据库的性能。

上面所说的问题，我们用ETL工具就可以解决。它的优点有：

支持多种异构数据源的连接。（部分）

● 图形化的界面操作十分方便。

● 处理海量数据速度快、流程更清晰等。

 

Informatica和Datastage占据国内市场的大部分的份额。

BI 工具

1.Power BI，综合评分：7.00分

Power BI来自大名鼎鼎的微软，其在办公软件领域本就是霸主地位，进入到商业智能行业自然也不遑多让，短短两年，就已经是Gartner魔力象限中最具有竞争力的BI软件了。

Power BI在功能、易用性3项上得分最高，而在安全性、性能、服务上则没有很好的竞争力，主要原因是Power BI目前主推的是个人分析，适合短平快的分析需求，而且在企业级部署和应用上缺少完善的解决方案，所以，Power BI比较适合数据分析师用以锦上添花，而搭建企业级的BI系统就有点力不从心了。

2.Tableau，综合评分：7.50分

Tableau算是国外BI领域最炙手可热的一个产品了，也是Gartner魔力象限中名列前茅的产品。Tableau的功能丰富且强大，主推自助式分析，适合于业务人员和数据分析师使用；其可视化效果上也做的很好，可以实现很酷炫的数据图表。产品的专业度很高，所以在性能、功能和易用性上得分较高。

跟绝大多的国外企业一样，tableau的本土化做的实在称不上好，所以它在国内的应用率远比不上国外，只有少数跨国企业有所应用。究其原因，最主要的是Tableau走国内代理商的渠道，其销售、实施和服务都是通过代理商来完成，并没有建立本土团队，这种代理模式的弊端显而易见，就是项目质量和售后服务容易出问题，得不到保证，如果Tableau想要占领国内市场，应该要在这方面下下功夫了，当然，价格方面也过于昂贵，不太符合国情。

3.FineBI，综合评分：8.33分

FineBI是国产BI软件中的佼佼者，其母公司帆软是做报表起家，目前在国内数据分析行业中首屈一指，可以参考IDC出的《2017年中国BI市场跟踪报告》。FineBI最新的版本是5.0，主打的是超大数据量性能和自助式分析2个特点，最高可以支撑20亿数据的秒级呈现，在功能方面跟Tableau很接近，适用于企业中的技术人员、业务人员和数据分析师，可以完全自主的进行探索式分析，软件在易用性和功能上做的都很不错，说实话，国内的BI行业由于起步较晚，能做到这个程度的确是下了一番功夫。

相较于国外产品而言，FIneIBI最大的优势在于帆软自主搭建的实施团队和服务团队，整个销售、实施和服务的流程都由帆软公司把控，而不是通过代理商或者其他第三方的机构，所以在FineBI在服务上的优势较为明显，再加上其相对合理的售价，能做到国内市场第一，的确是有其原因呐！

4.Smartbi，综合评分：7.17分

Smartbi也是一款国产软件，由广州的思迈特公司开发，这家公司本是做Excel插件起家，得益于其强大的销售能力，到如今也进入到BI领域。Smartbi在功能上相较于前面的3款软件逊色不少，缺少诸如智能图表推荐等先进性的功能支撑，在大数据性能上也表现一般，产品的UI界面比较古老，可能是骨子里的Excel基因导致。另一方面，Smartbi在服务和价格上也不具备太大优势，总的来说，这是一款基础型的中庸软件。

5.永洪BI，综合评分：7.17分

永洪BI由北京的一家创业公司开发，2年前倒是拿过腾讯的投资，盛极一时，但近来声音越来越小，官网首页也还停留在2年前的新闻，产品已经好久没有更新过了，据小道消息，是公司在内部管理上出现问题，导致核心销售和运营岗位人才的离职。话说回来，永洪BI在产品能力上还算不错，特别是大数据性能方面，同样可以支撑亿级数据的抽取和分析，而在服务方面则表现一般，关于产品的介绍和学习资料都比较匮乏，价格上中规中矩，其实整个BI产品线中，价格主要就2个断层，国内软件一个档次，国外软件又是一个档次。