【转载】商业智能介绍
商业智能并购金额如此巨大,显示必须有相应的市场规模,BI公司才会拥有如此市值。昂贵的商业智能分析软件,必然伴随着商业智能分析项目的高额软件使用许可费用和实施成本,这还不包括项目实施潜在的失败风险!
最重要的,商业智能看似日益普及,中小企业是否可以从中受益?
目录
第一部分
第二部分
第三部分
一、基础数据不完善
二、目前处于报表阶段,还没有进入智能决策的阶段
三、大有潜力可为
正文
什么是商业智能呢?先让我们来看看有关权威机构是如何对商业智能定义的!
第一部分
权威机构对商业智能的定义
Gartner Group--(全球最具权威的IT研究与顾问咨询公司。其研究范围覆盖全部IT产业,就IT的研究、发展、评估、应用、市场等领域,为客户提供客观、公正的论证报告及市场调研报告,协助客户进行市场分析、技术选择、项目论证、投资决策)
l商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。
l商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。
IDC--(是IDG(国际数据集团)旗下子公司,全球著名的信息技术、电信行业和消费科技市场咨询、顾问和活动服务专业提供商)
l商业智能是一组软件工具的集合:
(1)终端用户查询和报告工具:专门用来支持初级用户的原始数据访问,不包括适用于专业人士的成品报告生成工具
(2)OLAP工具:提供多维数据管理环境,其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析
(3)数据挖掘(Data Mining)软件:使用诸如神经网络、规则归纳等技术,用来发现数据之间的关系,做出基于数据的推断。
(4)数据集市(Data Mart)和数据仓库(Data Warehouse)产品:包括数据转换、管理和存取等方面的预配置软件,通常还包括一些业务模型,如财务分析模型。
(5)主管信息系统(EIS,Executive Information System)
l通俗地说BI就是收集相关信息并加以分析,以帮助您做决策。成功的BI系统多采用了数据仓库技术。
AMT
l商务智能,由Business Intelligence翻译而来,简称BI,是用信息技术来收集、管理和分析结构化和非结构化的商务数据和信息,创造和累积商务知识和见解,改善商务决策水平。
l从信息系统的角度来看,它包括如下的工具集合:用户查询和报表工具、OLAP工具、数据挖掘工具、数据仓库、ETL工具、元数据管理工具。
中程在线--(隶属于中国科学院软件研究所高级技术培训中心)
l商业智能也称作BI是英文单词Business Intelligence的缩写。
l商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。
l这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。
l商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。
l为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。
第二部分
从三个视角观察商业智能
对很多初次接触商业智能的人士来说,权威机构对商业智能概念的描述仍然不是非常清晰。究其原因,在于这些机构都是在用少而专业的词汇精确地阐述概念。所以,对一般读者来说往往有不甚明了的感觉。
所以,如果我们不是抱着学术研究的目标去理解商业智能,而是站在使用者的角度去审视商业智能,反而可以有一个更加清晰的认识。
我们可以从三方面去认识商业智能。一是商业智能带给我们什么内容?二是商业智能的特点有哪些?三是使用什么技术和工具实现商业智能?
一、商业智能带给我们什么内容?
说到商业智能,我们先说说智能,以及人工智能。
智能(intelligence),目前对其定义尚无统一的意见。一般认为,智能是指个体对客观事物进行合理分析、判断及有目的地行动和有效地处理周围环境事宜的综合能力,智能由语言理解、用词流畅、数、空间、联系性记忆、感知速度及一般思维
人工智能AI (Artificial Intelligence)
商业智能,可以理解为运用在商务领域的智能,或者运用在商务领域的人工智能。
商业智能的概念最早是Gartner Group的Howard Dresner于1996年提出来的。当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。当时的预测说:到2000年,信息民主(注:指组织内信息共享的无差别性)将在具有前瞻性思维的企业中浮现。借助商业智能,员工、咨询员、客户、供应商以及公众能够有效地运用信息。
商业智能所涉及的技术与应用,在Howard Dresner命名之前就有,最初被称为主管信息系统(EIS, Enterprise Information System),之后又被称为决策支持系统(DSS, Decision Support System)。
如此看来,商务智能的目标,是为决策服务的。所以我们需要了解,在商务领域,我们有哪些环节和领域需要决策呢?
类似于人工智能,商业智能也是模拟、延伸和扩展人的智能,只不过其领域在于商业之中。在商业领域,决策也可以划分出不同的层次和阶段。按照决策程序的特点,我们可以将决策划分出初级、中级和高级阶段。
1、决策的初级阶段
在初级阶段,决策所需要的信息是对原始数据的分类、汇总、排序,以获得对经营活动的直观印象;
譬如,一般企业最为关注的是销售额和销售量信息。
在关注销售信息的同时,必须从多个角度来考察。最基本的信息是每天的、甚至是每笔交易的销售数量和销售金额。这就是从时间这个角度来关注销售信息的。
除了时间角度以外,企业还会从区域的角度来考察,到底是哪些区域为公司贡献的销售最大?是国外市场还是国内市场?是华东地区还是华南地区?在华南地区,是广东省还是福建省还是广西自治区…
对于销售情况来说,还必须了解的情况,就是销售商品(或者提供服务)的信息,企业必须了解可供出售的商品品种(或服务)各自的分类销售情况,而不是仅仅有一个汇总数据。企业需要了解哪些类别、哪些品种的产品(或服务)为公司贡献的销售最大…
除了时间、区域、产品角度以外,企业还可以从更多的角度去了解公司的销售信息,可以从客户的角度、从供应商的角度、从本企业销售事业部和销售员的角度、从销售信贷额度与应收账款比较的角度、从应收账款的帐龄等角度进行查询。
又譬如库存管理,最基本的是库存量信息,以及库存占用资金信息。对于库存管理,还会包括最低和最高库存的额度管理,库存存储时间,即呆滞库存分析、库存的批次批号管理等等。
因此,为了全面分析库存信息,首先需要对库存按照商品种类进行分类,如原材料、主要原料、辅助材料、委外加工、半成品、产成品、外购商品、备品备件、低值易耗品等,或者,按照材料的金额和重要性,划分ABC类别等。其次,还需要从存储的仓库库房、库位的角度、供应商的角度、入库时间的角度、存储时期的角度等等去观测库存的数量和金额,以及与最高最低额度的比较数据,保质期与呆滞期的比较信息等等,来获得和观察企业运行的信息。
2、决策的中级阶段
在中级阶段,是对分类汇总数据中的明细数据和相关KPI的展现,以及对相关联的明细数据,从不同角度进行的交叉观测,以获得对数据反映出的商业结果的原因探索;
我们获得了商业活动的初步信息,并不是商业智能分析的结束,而恰恰是进一步分析的开始。
假如我们获得了公司每个月总销售毛利率的信息,发现今年第三个季度的前2个月的总毛利率与去年或者与上个季度相比是正常的,而最后一个月的总毛利率却突然急剧地下降。于是我们希望了解其中的原因。
我们最初从时间的角度,发现了总毛利率数据的急剧波动,现在我们可以立即转换观测的角度,我们可以从商品或者品牌的角度,去观测哪些商品的销售毛利发生了变化,结果可能会是:第三个月份,销售了大量之前没有销售的毛利很低的商品;或者之前销售的毛利很高的商品,本月销售情况非常不好;或者,某些商品的销售价格大幅下降;或者,某些商品的生产或者采购成本大幅上升……
下一步,我们就可以立即把这些商品筛选出来,观察这些商品是什么品牌的,卖给了哪些客户,或者是从哪些供应商处购买……
或者,我们可以立即从销售事业部和销售员或者采购部门和采购员的角度去观察,了解对于该类商品,采取了哪些销售策略和促销手段?是哪些部门和哪些人员在负责这些影响毛利的重要商品的销售和采购工作;
或者,我们也可以立即从仓库的角度,了解到本月处理了大批呆滞的库存商品……
在中级分析阶段,我们还可以从一些关键绩效指标的变动情况,来了解企业经营的情况。譬如:应收账款周转次数和天数指标,可以反映应收款的回收速度,反映出对企业现金流的影响;存货周转次数和天数指标,则可以反映企业存货周转的速度,反映出存货占用资金的多寡。
KPI指标是浓缩了企业经营成果的反映器,这些指标可以从多方面反映企业的运作情况。譬如:财务分析指标包括负债权益比率、毛利润率、净利润率、流动比率、权益回报率、现金流量销售额比率、预算差异、资产回报率等;反映客户管理的指标包括客户保有率、客户满意度、客户盈利率、每个期间流失的客户、每个期间增加的客户等;反映流程管理的指标如交货延误率、准时交货率、运费总成本比等;反映人力资源方面的雇员满意度指标、单位雇员培训成本、单位雇员培训时间等等。
在中级决策阶段,这些关联分析和KPI分析,可以很好地为决策者提供依据,使决策建立在科学的、可度量的基础之上,从而避免在复杂的经营环境中的决策迷失。
3、决策的高级阶段
在高级阶段,则是根据数据,对未来做出的趋势判断,或者根据特定数学模型获得的分类信息,以对未来的商业行为提供行动指南。
高级分析要取得实际效果,需要2个基本要素:基础数据的准确完备和经验值准确把握。实际上,尽管高级分析仍然在经营大环境的控制当中,譬如政策因素、行业内科技大事件的影响因素、竞争对手行动的影响等,但是,建立在科学的数学模型基础上的预测,仍然在开源节流等各方面都具备极大潜力。
高级分析使用特定的数学模型和方法来进行预测。如使用预测中常用的趋势分析法的指数平滑分析、时间序列回归分析等方法,以及数据挖掘技术和运筹规划中的其他方法等等。
1、销售预测
销售预测无疑是企业全面预算管理中最重要的环节,而且是全面预算的源头。企业的生产预算、采购预算、资本性支出预算、现金流量预算、筹资预算等等,莫不与之相关。
销售预测需要根据已发生业务的销售数据,结合未来影响因素,预计未来的销售量和销售额。
企业获得以往销售数据,首先需要在初级和中级分析阶段获得的多维数据的基础上,对销售数据进行明细的分类和汇总。这是因为不同类型的产品、不同品牌、不同地区、不同客户等,其业绩的基础、变化趋势可能存在差异,不同经验值的确定会对预测数据产生很大的影响。
常用的方法,指数平滑法,就是根据按照时间序列的销售数据,根据经验确定一个权数α。(公式:F t =
回归分析法,根据y=a+bx的直线方程式,按照最小平方法的原理确定一条能正确反映自变量x和因变量y之间关系的直线。直线方程中的常数项a和系数b可根据多次数据计算得到。如果销售历史数据呈现出类似直线变化趋势时,可以应用回归分析法进行销售预测,y表示销售量(或销售额),x表示间隔期(即观测期)。
2、销售自行车的广告投递决策
自行车厂商想要通过广告宣传来吸引顾客。他们从各地的超市获得超市会员的信息,计划将广告册和礼品投递给这些会员。但是投递广告册是需要成本的,不可能投递给所有的超市会员。而这些会员中有的人会响应广告宣传,有的人就算得到广告册不会购买。所以最好是将广告投递给那些对广告册感兴趣从而购买自行车的会员。
分类模型的作用就是识别出什么样的会员可能购买自行车。在分类模型中,将会员的婚姻状况、性别、年龄等特征作为源数据,所需预测的分类是客户是否购买了自行车。
根据分析模型得到的结论是:
1.
2.
3.
4.
在得到了分类模型后,将其他的会员在分类模型中查找就可预测会员购买自行车的概率有多大。随后自行车厂商就可以有选择性的投递广告册。
3、物流运输路线的决策
物流公司,需要把某种产品从若干个生产地调运到若干个销售地,对于每个生产地的供应量和每个销售地的需求量,以及从任何一个生产地到任何一个销售地的运费数据,已经通过初级和中级阶段的分析获得。现在需要确定:如何在许多可行的调运方案中,确定一个总运输费最小的方案。
在已经基础数据的情况下,可以采用譬如“西北角法”、“图上作业法”等运筹方法,立即获得最佳的运输路线。确定从A、B、C、D分别发往甲、乙、丙、丁各多少数量的产品。
对于诸如最低成本、最短时间等运筹规划,决定性的因素是单位运费或者单位时间,企业还可以根据实际情况,改变决定性因素,或者使用组合因素等。
二、商业智能的特点有哪些?
商业上的决策分析,是早在计算机科学出现之前就已经存在的。那么现在流行的商业智能分析技术,为什么会以这样的崭新的方式被提出来呢?
技术的进步会给传统的操作和使用方式,带来革命性的变化,这已经无数次被证明。商业智能分析技术,也会证明这一点。
商业智能技术,首先是基于信息的大规模生产和数据库技术的运用。目前,商业智能具有如下特点:
1、即时性
传统手工数据处理,从数据收集、整理到分类、汇总,都需要经历漫长的时间过程。但是,商业智能使用的技术,可以实时地从业务系统中获得最新的数据。在对时间性敏感的决策分析中,这一点尤其重要。
2、准确性
在准确性方面,因为计算机数据处理,避免了手工操作中存在的失误,所以计算结果是绝对准确和可靠的。
当然,这其中会存在因为业务逻辑关系的缺失而导致的错误,即程序中设定的限制条件不充分而导致数据失误。所以,对待重要的决策信息,应同时建立数据核对机制,以保证建立在即时信息的准确性基础上的决策的正确。
3、自动化
商业智能技术,包括一个数据抽取、转换、装载(ETL)的过程,这个过程可以按照用户的要求,设定ETL的时间和周期,因此,整个基础数据的获得、数据的处理,以及数据的展现,都是一个自动化的过程,无需手工参与。使用者每日甚至每时获得的信息,都可以是最新数据。这就为决策分析信息提供者的工作带来了极大的便利。
4、灵活性
决策支持的展现方式灵活多样,充分体现了智能的特点。
对于初级阶段分析的展示,可以使用图标和图形的方式。譬如结构百分比,可以使用饼图、三维饼图的方式;对于趋势百分比、同比、定比、环比,可以使用折线图、柱状图等;对于KPI指标,可以使用仪表盘管理;其他的散点图、泡泡图等,都可以根据实际业务的需要而建立。
在图表数据方面,可以进行数据的钻取、旋转和切片操作。当需要进一步了解明细数据的时候,需要使用数据钻取功能,当需要从不同的角度观测数据以发现数据变动规律时,需要利用多维数据的旋转功能,而当需要关注特定数据的时候,可以对特定区域的数据进行切片分析。
商业智能分析的灵活性,建立在分析模型设计时周全的考虑。
三、使用什么技术和工具实现商业智能?[/url]
商业智能分析工具,是传统方法的计算机化。因为计算机处理的高速度,使得原本手工处理几乎不可能完成的工作变成可能。
1、数据源OLTP DB & OTHERS
企业应用软件,经历了一个MRP(Material Requirement Planning 物料需求计划)、MRPII、CRM(Customer Relationship Management 客户关系管理)、SCM(Supply Chain Management 供应链管理)
同时,企业其他的文件,诸如Excel电子表格、txt文档、Assess小型数据库中的信息,甚至可从网络中获得的XML文件,都可以作为在线分析系统的原来,进行商业智能分析。
在这方面,大型应用软件如SAP(Systems Applications and Products in Data Processing)、ORACLE,中型的如用友、金蝶等,都属于OLTP。
2、数据抽取、转换与装载ETL
Extraction、Transformation、Loading。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
从应用系统,或者Excel、TXT文档中获得的数据,其中可能存在不规范的数据,称为数据,如字段值缺失的数据、重复的数据、不规范的字符等,都需要清除;或者需要将文本型日期数据转换成日期型数据,这些都需要相应的工具来完成。如:对于省份信息,有的系统的标记是广东省,有的标记为广东,有的标记是粤,但是在分析系统进行数据汇总时,需要标记一致,因此,需要在转换时将不同标记符号统一化。
在这方面,微软的SQL Server 2005种的SSIS工具,是很好的ETL工具,其他的还有Informatica、Datastage等。
3、数据仓库DW
数据仓库,就是数据库而已。第一、通常应用程序使用的数据库中表的设计原则是减少冗余,遵循范式。而数据仓库,恰恰要求冗余数据。第二、数据仓库存储OLTP系统中所有时间累积的数据。
范式的实例如下:
在数据库中,有2个表:
这样的表符合第三范式。
但是,在数据仓库中,需要设计成:
其中每个销售员的工资都存储下来,形成了数据冗余。
数据仓库,顾名思义,是大量存储数据的地方,多维分析的技术要求数据仓库的数据冗余。
凡是数据库的提供者,都可以是数据仓库的载体的提供者,如SQL Server、Oracle、Sybase等等。
4、多维数据集合(在线分析)OLAP
多维数据集合是这样一种存在形式:对于销售金额,我们把它看作是度量值,我们从销售时间、客户、商品的角度去观察它。观察的角度称为维度。
多维数据,其实就是是对数据仓库数据使用SQL语句Group by的结果,Group by的成员就是维度,聚合的数据就是度量值。
但是因为多维数据集对Group by的查询结果进行了保存,所以将来调用的时间就会很短。按照这个特性,OLAP分为多维型MOLAP、关系型ROLAP、混合型HOLAP。
在这方面,知名的产品如SQL Server Analysis Services与Hyperion
5、数据挖掘DM
Data Mining(数据挖掘)主要任务有数据汇总、概念描述、分类、聚类、相关性分析、偏差分析、建模等。具体技术包括:统计分析(statistical analysis),常见的统计方法有回归分析(多元回归、自回归等)、判别分析(贝叶斯分析、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)和探索性分析(主元分析法、相关分析法等)。
决策树(decision tree),是一棵树,树的根节点是整个数据集合空间,每个分节点是对一个单一变量的测试,该测试将数据集合空间分割成两个或更多块。每个叶节点是属于单一类别的记录。首先,通过训练集生成决策树,再通过测试集对决策树进行修剪。决策树的功能是预言一个新的记录属于哪一类。决策树分为分类树和回归树两种,分类树对离散变量做决策树,回归树对连续变量做决策树。
时间序列(time series),指随时间变化的序列值,处理时序数据包括趋势分析(长期或趋势变化、循环变动或循环变化、季节性变动或季节性变化、非规则或随机变化)、相似性搜索、序列模式挖掘和周期分析等内容。
其他如关联规则(correlation rules)、贝叶斯信念网络(Bayesian belief network)、马尔科夫模型(Hidden Markov model)、神经网络(neural network)、遗传算法(genetic algorithms)。
这方面的产品如微软的DM、SAS、SPSS。
6、运筹规划OR
Operational Research.。运筹规划软件可以解决诸如线型规划、运输规划、整数规划、任务指派、动态规划、投资分配、货物配装、预测计算、统筹方法、质量控制、系统配置、系统模拟、库存分析、竞争策略分析、选址计算、设备更新、路线规划等应用。在商业领域有广阔的应用前景。
相关工具可以参考物流与运筹软件ORS。
7、数据展现DISPLAY
目前数据展现,包括图形图表和仪表盘方面的,都已经比较成熟。一类是报表工具,如微软的Reporting Services、被Hyperion收购,后又被Oracle收购的Crystal Report工具、Business Objects等;另一类是OLAP展现工具,目前市场上的商业智能产品很多都可以进行多维展现。微软的SSAS还可以通过Excel或者OWC组件来展现。
第三部分
商业智能分析对基础数据的要求比较高,而且相关的产品和实施费用也比较高,通常中级和高级阶段的决策支持,特别是数据挖掘分析,在电信、证券、零售领域运用的比较多。但是,现在,中小企业也逐渐认识和开始运用商业智能分析技术了。
中小企业运用商业智能分析技术,有如下一些特点:
一、基础数据不完善
对于小企业来说,使用诸如ERP、SCM、CRM等在线交易系统的时间还不长,系统内存储的数据量还不是很大。不过中型企业基本上已经是比较成熟的ERP用户了。正是进行商业智能分析的大好时机。
不过基础数据不完善,存在着这样2方面的情况:
一是数据之间缺乏关联关系。
譬如希望分析采购订单与收货记录,以考核交货及时率,但是系统的数据库表中并不存在采购订单与入库验收单之间的关联;希望考核销售员业绩,但是系统的数据库表中不存在销售订单与销售员之间的关联关系。这些关联关系,都是在在线交易系统使用过程中实时录入的,日后维护工作极大也不可行。
二是数据不真实。
譬如超市对会员的分析。为了分析会员的购买习惯,需要按照会员的性别、年龄、家庭住址与超市的距离、家庭收入、家庭成员数等进行分类,但是,实际会员填写的资料并非是真实的。据此分析的结论显然不会真实。
二、目前处于报表阶段,还没有进入智能决策的阶段
由于目前中小型企业在扩张过程中,往往存在管理滞后的现象,以数据支持决策的工作还没有得到成熟的阶段。所以目前阶段的商业智能分析,仍然处于收集数据、分类汇总、及时展现的初级阶段。
笔者曾经参与过一些大型外资企业的商业智能项目,发现项目所实现的目标其实很不实用。有的500强企业仅仅是实现了会计的三大报表(资产负债表、损益表、现金流量表),以及预算与实际的对比,而在预算与实际对比的系统运用中,并不如理想中的方便。有的外资企业的商业智能分析软件,是提供一个接口,让国内操作者在Excel电子表中制作相应格式的报表,然后定期导入到智能分析软件中,完全丧失了软件的自动化功能;甚至有的企业上的商业智能分析软件竟然闲置起来。
所以,中小企业应该以务实的态度来对待商业智能分析系统。在决策的初级和中级阶段,往往决策者看到报表数据,立刻可以决定下一步的行动计划。决策者所需要的,仅仅是及时提供数据准确的报表。目前的分析系统能够达到这样的目标,就是成功的!
三、大有潜力可为
尽管中小企业商业智能分析处于初级或者中级阶段,但是商业智能的采用,还是会给中小企业带来极大的帮助。
1、促进ERP、SCM、CRM应用软件规范使用
对于前述的诸如销售员业绩分析、销售订单与收款对比分析,需要应用软件在设计上做出调整,以便在信息录入的过程中就记录下其间的关联关系。
又譬如,某些ERP软件中的产品成本信息只能归集到产品大类的级别,无法真实记录和归集每个产品的成本信息。在这种情况下,企业的替代做法是将大类产品成本数据,按照一个标准(如明细产品的重量或者金额)划分到每个明细产品中去。这是按照假设使用了一个可以接受的核算方法。但是,如果改进ERP软件的核算机制,完全有可能将产品成本的记录明细到单个产品上。
对于零售业的客户会员信息,企业也可以采取一些相关措施,如对真实信息实行积分奖励的办法,促进消费者提供真实的信息。
正是由于商业智能分析软件的运用,才会认识到企业应用系统中存在的问题,才会有针对性地改进和完善。
2、发现隐hide的问题
由于大量数据可以被及时和准确地提供,企业运营中的异常数据,即便是不使用数据挖掘技术,也可以很及时地被发现。
如前述提到的销售毛利率异常波动、库存商品呆滞期过长、应收帐款呆账需要及时处理、超过信用额度的销售发货等等,都是容易被隐hide的经营情况。
3、辅助其他职员提高工作效率
事实上,商业智能分析报表的,不仅仅局限于决策支持。笔者参与的很多商业智能分析项目,其中很多报表其实是为普通操作者服务的。特别是对于需要向公司领导层提供报告的操作者,需要很多企业经营方面的报表数据作为原材料。
目前的ERP系统中,查询报表很不方便,客户一旦有新的查询需求,就需要软件公司提供二次开发。
但是只要用户提供了可能的查询角度,则商业智能分析系统中就可以存在相应的查询报表,可以在用户需要的时候,只通过拖拉操作即可实现。