什么是关联分析？如何利用关联规则做好数据挖掘

想必大家都听说过美国沃尔玛连锁超市“啤酒与尿不湿”的故事。为什么沃尔玛超市里会把婴儿的尿不湿和啤酒摆放在一起售卖呢？

因为超市发现尿不湿和啤酒的购买峰值曲线有极大的相似性，观察得知，美国家庭中母亲在家照顾孩子，就会让父亲下班后买尿不湿回家，而男士来到超市后习惯于给自己买上一罐啤酒。那么如果将啤酒放在尿不湿附近，将有很大概率提高啤酒的销售量。实践证明的确如此。

其实，这种通过研究已经产生的数据，将不同标的关联起来并挖掘二者之间联系的分析方法，就叫做关联分析法，也就是商场和电商领域的“购物篮分析”。

而这种数据关联的分析思维不仅仅可以使用在商品的售卖方面，研究的对象包含范围越广，表面上没有什么相关性、但是实际上有潜在的内关联价值的事物就越多。透过数据去挖掘这些关联规则就可以让商家制定相应的营销策略来提高销售量、让交通部门调整交通信号时长来治理交通、让政府制定有针对性的政策来促进经济等等。

今天小亿就来说说什么是关联分析，关联分析可以应用在哪些地方，以及如何做好商品的关联分析。

 

一、什么关联分析？

关联就是反映某个事物与其他事物之间相互依存关系，而关联分析是指在交易数据中，找出存在于项目集合之间的关联模式，即如果两个或多个事物之间存在一定的关联性，则其中一个事物就能通过其他事物进行预测。通常的做法是挖掘隐藏在数据中的相互关系，当两个或多个数据项的取值相互间高概率的重复出现时，那么就会认为它们之间存在一定的关联。

换句话说，两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。简单地来说，关联规则可以用这样的方式来表示：A→B，其中A被称为前提或者左部(LHS)，而B被称为结果或者右部(RHS)。如果我们要描述关于尿布和啤酒的关联规则（买尿布的人也会买啤酒），那么我们可以这样表示：买尿布→买啤酒。

关联规则是数据挖掘中的一个重要分支，其主要研究目的是从各种数据集中发现模式、相关性、关联或因果结构。关联规则有形如X→YX→Y 的蕴含表达式，其中X和Y是不相交的项集，即X∩Y=∅X∩Y=∅。

 

二、关联分析可以应用在哪些地方？ 

一些行业的关联规则十分清晰，例如人口普查、医疗诊断、甚至人类基因组中的蛋白质序列。在关联销售宝贝的价格规律，卖家改进关联营销策略方面，关联分析法的适用性尤为突出。

关联销售在具体营销操作中，往往会使用一种商品作为引入商品，另一种商品作为利润商品，营销人员往往会认为引入商品应当是低价的一种，那么是否女装类目中存在此类规律呢？

如果将关联比例大于10%的关联商品和结果商品的类目均价互相比较，就会发现既有用半身裙、小背心、雪纺衫之类的相对低价商品，关联至衬衫、裤子、连衣裙等相对高价商品的记录，也有用衬衫、短外套、连衣裙、西装等相对高单价商品，关联至裤子、连衣裙、T恤等相对低单价商品的记录，而且两种情况的数量基本一致。该分析结果告诉我们，至少在女装类目中，关联销售更多是基于买家的内在需求以及商品的性质、特征等而出现，并没有什么特定的低价导入、高价关联之类的规律存在。 

在今天主要探讨的商品销售这个目标上，“超市购物篮”数据的研究可以作为研究关联规则挖掘的一个典型的例子。不仅在线下超市，电商卖家的“满就送”、“多加一件包邮”等形式促销，也是商品关联销售思维演化来的。 

但他们忽略了关联销售最重要的一个环节 ，就是消费者心理最想要什么东西，以及可以接受的心理价位是什么？这就需要对大量商品记录数据做分析，提取出能够反映顾客偏好的有用的规则。

如今疫情尚没有宣告终结，超市门店生意仍处困境，线上流量红利竞争持续，竞争的层面也在不断深化，已经从最基本的增加PV、提升PR、制造爆款……扩展到提升客单价、重购率，培养核心客户群、打造私域流量等方面。在这样的情况下，做好关联分析就会让你的企业在竞争中多一个抓手。具体而言，他可以帮助店铺实现以下营销目的：

1.提升页面浏览率：由于同一页面中会涉及到多个商品，当这些商品的关联性较强时，就会有效提升该页面以及其关联商品页面的PV。

2.给用户提供更多选择：一个消费者不管通过什么流量渠道进入店铺商品页都会有一定原因，而提供其真正具有购买需求的关联商品信息无疑会增加客户浏览的时间，给客户提供更多的选择，从而大大增加留住客户的比率，而这也就意味着更高的转化率和客单价！

3.提升利润商品的展现机会：现在电商卖家对做爆款是又爱又恨，爱的是他能带来流量，恨的是他带走了利润，其实，只要做好关联销售，将爆款商品和利润商品有效组合起来，就能获得流量和利润的双丰收！ 

除此以外，关联技术不但在商业领域被广泛应用，在医疗、保险、电信和证券等领域也得到了有效的应用。

  

三、如何依据数据做好关联分析？

1.关联规则的常用指标

分析事物关联关系需要将众多复杂的线索的拆解清晰，量化为对工作有用的指标，在关联分析的最开始，我们往往需要关注以下指标：

（1）支持度 

在关联算法中很重要的一个概念是支持度(Support)，也就是数据集中包含某几个特定项的概率。比如在1000次的商品交易中同时出现了啤酒和尿布的次数是50次，那么此关联的支持度为5%。

支持度是指A商品和B商品同时被购买的概率，或者说某个商品组合的购买次数占总商品购买次数的比例，用图表示就是两者之间的交集。

其算法公式是：S=F[（A&B）/N]

其中S代表支持度，F代表概率函数，A&B代表购买了A且购买了B的次数，N代表购买总次数。

比如今天共有10笔订单，其中同时购买牛奶和面包的次数是6次，那么牛奶+面包组合的置信度就是6/10=60%

 

（2）置信度

和关联算法很相关的另一个概念是置信度(Confidence)，也就是在数据集中已经出现A时，B发生的概率，置信度的计算公式是：A与B同时出现的概率/A出现的概率。

置信度是指购买A之后又购买B的条件概率，简单说就是因为购买了A所以购买了B的概率，用图表示就是交集在A中的比例。

其算法公式是：C=F（A&B）/F（A）

其中C代表置信度，F表示条件概率，A&B代表购买了A且购买了B的次数，A代表购买A的次数。

比如今天共有10笔订单，其中购买A的次数是8，同时购买A和B的次数是6，则其置信度是6/8=75%

 

（3）提升度

提升度是先购买A对购买B的提升作用，用来判断商品组合方式是否具有实际价值，换句话说，就是看组合商品被购买的次数是否高于单独商品的购买次数，大于1说明该组合方式有效，小于1则说明无效。

其算法公式是：L=S（A&B）/[S（A）*S（B）]

其中L代表提升度，S（A&B）代表A商品和B商品同时被购买的支持度，S（A）*S（B）代表商品A被购买的概率与B被购买概率的乘积

比如今天共有10笔订单，购买A的次数是8，购买B的次数是4，购买A+B的次数是6，那么提升度是0.6/（0.8*0.4）>1，因此A+B的组合方式是有效的。

 

2.关联规则的分类 

（1）根据规则中所处理的变量的类型，关联规则可以分为布尔型和数值型 

布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系。数值型关联规则可以对数值型字段，原始数据进行处理，包含多种类型的变量。例如：性别=“女”=>职业=“会计” ，是布尔型关联规则；性别=“女”=>avg（收入）=3000，涉及的收入是数值类型，所以是一个数值型关联规则。

 

（2）基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则 

在单层的关联规则中，所有的变量都没有考虑到现实的数据是具有多个不同的层次的；而在多层的关联规则中，对数据的多层性已经进行了充分的考虑。例如：IBM台式机=>Sony打印机，是一个细节数据上的单层关联规则；台式机=>Sony打印机，是一个较高层次和细节层次之间的多层关联规则。

 

（3）基于规则中涉及到的数据的维数，关联规则可以分为单维和多维的

在单维的关联规则中，我们只涉及到数据的一个维，处理单个属性中的一些关系，如用户购买的物品。多维的关联规则中要处理的数据将会涉及多个维，处理各个属性之间的某些关系。例如：啤酒=>尿布，这条规则只涉及到用户的购买的物品是单维的关联规则；性别=“女”=>职业=“秘书”，这条规则就涉及到两个字段的信息，是多维的一条关联规则。

 

3.关联规则挖掘的相关算法

我们都知道，做数据分析的目的就是找到数据之间的关联和联系，而对于产品或商品来说，我们的目的是找出顾客购买行为的模式，比如说用户买了A商品，是否会对B商品产生什么影响；比如用户今天的购买行为，会不会对明天的销售量带来影响；比如不同的用户是否具有不同的购买模式等等。而这种挖掘方式要基于一定的规则，这个规则就是进行关联分析的算法

（1）Apriori算法

Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。 

 算法的基本思想：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样；然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。

 

（2）AprioriTid算法

AprioriTid算法对Apriori算法做了调整，它的特点是在第一次遍历数据库D之后，就不再使用数据库来计算支持度，而是用集合Ck来完成。

基本思想：跟Apriori算法的步骤基本相同，只是在第一次通过之后，数据库不用于计算候选项集；生成另一个集合C'，其中每个成员具有每个事务的TID以及该事务中存在的大项集，这个集用于计算每个候选项集。

 

（3）SETM算法

基本思想：候选项目集在扫描数据库时即时生成，但在通过结束时计算，新的候选项集生成事务的TID与候选项集一起保存在顺序结构中；结束时，通过聚合该顺序结构来确定候选项集的支持计数。

 

（4）FP-tree算法

FP-tree算法又称FP-Growth算法，是在不使用候选代的情况下查找频繁项集的另一种方法，从而提高了性能。其核心是使用名为频繁模式树（FP-tree）的特殊数据结构，保留了项集关联信息。

基本思想：首先压缩输入数据库，创建一个FP树实例来表示频繁项；然后将压缩数据库分成一组条件数据库，每个条件数据库与一个频繁模式相关联；最后将每个数据库进行单独挖掘。

 

四、关联分析的步骤拆解

1.从原始资料集合中找出所有高频项目组(LargeItemsets)

高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一 水平。以一个包含A与B两个项目的2-itemset为例，我们可以求得包含{A,B}项目组的支持度，若支持度大于等于所设定的最小支持度 (MinimumSupport)门槛值时，则{A,B}称为高频项目组。

一个满足最小支持度的k-itemset，则称为高频k-项目组 (Frequentk-itemset)，一般表示为Largek或Frequentk。算法并从Largek的项目组中再试图产生长度超过k的项目集 Largek+1，直到无法再找到更长的高频项目组为止。

 

2.产生关联规则

从高频项目组产生关联规则，是利用前一步骤的高频k-项目组来产生规则，在最小可信度(MinimumConfidence)的条件门槛下，若一规则所求得的可信度满足最小可信度，则称此规则为关联规则。

例如：经由高频k-项目组{A,B}所产生的规则，若其可信度大于等于最小可信度，则称{A,B}为关联规则。

就“啤酒+尿布”这个案例而言，使用关联规则挖掘技术，对交易资料库中的记录进行资料挖掘，首先必须要设定最小支持度与最小可信度两个门槛值，在此假设最小 支持度min-support=5%且最小可信度min-confidence=65%。因此符合需求的关联规则将必须同时满足以上两个条件。若经过挖掘 所找到的关联规则{尿布，啤酒}满足下列条件，将可接受{尿布，啤酒}的关联规则。用公式可以描述为：

Support(尿布，啤酒)≥5%andConfidence(尿布，啤酒)≥65%

其 中，Support(尿布，啤酒)≥5%于此应用范例中的意义为：在所有的交易记录资料中，至少有5%的交易呈现尿布与啤酒这两项商品被同时购买的交易行 为。Confidence(尿布，啤酒)≥65%于此应用范例中的意义为：在所有包含尿布的交易记录资料中，至少有65%的交易会同时购买啤酒。

因此，今后若有某消费者出现购买尿布的行为，我们将可推荐该消费者同时购买啤酒。这个商品推荐的行为则是根据{尿布，啤酒}关联规则而定，因为就过去的交易记录而言，支持了“大部分购买尿布的交易，会同时购买啤酒”的消费行为。

从上面的介绍还可以看出，关联规则挖掘通常比较适用于记录中的指标取离散值的情况。

如果原始数据库中的指标值是取连续的数据，则在关联规则挖掘之前应该进行适当的数据离散化(实际上就是将某个区间的值对应于某个值)，数据的离散化是数据挖掘前的重要环节，离散化的过程是否合理将直接影响关联规则的挖掘结果。

 

五、案例分享

如今关联规则挖掘的应用领域非常多，但凡需要分析事物和事物间的频繁模式的场景，都可以用到关联规则挖掘。 

这项技术在一些众所周知的行业有了许多成熟应用，例如：电商或零售业的商品推荐、百度文库推荐相关文档、医疗推荐可能的治疗组合、生物研究中，发现有毒植物的共性特征，识别有毒植物、银行推荐相关联业务、搜索引擎推荐相关搜索关键词、门户网站通过点击流分析热点新闻。

最终目标是为运营策略提供依据、为数据决策提供佐证等等，但这不仅仅不要分析师有关联性思维，也需要在终端上确确实实的看到数据的关联性呈现。这里我们以一站式数据分析平台亿信ABI为例，来给大家分享关联分析的具体步骤：

1.准备数据 

我们准备了某超市的一些购物篮数据。该数据集有7个字段。根据关联规则的挖掘特性，需要选择一个事务字段和一个事项字段。不然发现，CARD_NO(卡号)字段同一卡号购买过多种不同商品，可作为事务字段，而GOODS(购买商品)字段可作为事项字段。另外，界面信息显示，该数据集有2800条购买数据，由939个客户(卡号)购买了11种不同商品，符合“经常同时购买”的特征。接下来我们开始用数据集训练一个合适的关联规则模型。

 

2.训练模型

先创建一个挖掘过程，选择关联规则FP-Growth进入挖掘过程界面。系统内置了两种关联规则算法，他们的参数设置都一样。我们选择性能较好的FP-Growth算法。再选择“购物篮”数据集，选择CARD_NO字段为事务字段，GOODS字段为项字段，设置所有数据参与挖掘(100%抽样)。最低支持度设置为5项，最小可信度设置为40%。注意，这两个参数设置过大，可能挖掘不出关联规则，可根据实现情况调整。点击”训练模型”菜单查看训练出来的关联规则。

如上图所示，该模型挖掘到了100条关联规则。每条关联规则左边代表。系统虽然内置了FP-Growth和Apriori两种挖掘算法，而且操作方法一样，但它们还是存在以下特点：

（1）Apriori算法效率较低，计算过程中需要多次扫描整个数据集，占用较多的内存和计算时间；

（2）FP-Growth算法效率较高，只需要扫描两次数据集，占用更少的内存和计算时间。但对于长事务(同一事务，很多事项)，会造成FP树深度过大，计算时间显著增加。

所以在选择算法时，绝大部分情况下，可以优先选择FP-Growth算法。

 

3.模型应用 

关联规则模型的应用同其它类型的挖掘模型，也是要先发布选择好的关联规则模型，再制作相应的模型应用用于关联规则的显示和查询。这里就不重复讲解了。