电商数据挖掘:“啤酒+尿布”的关联算法规定
本文摘要:关联,其实很简略,就是几个东西或者工作是常常同时呈现的,“啤酒+尿布”就对错常典型的两个关联商品。所谓关联,反映的是一个工作和其他工作之间依赖或关联的常识。当我们查找英文文献的时分,可以发现有两个英文词都能描述关联的意义。第一个是相关性relev
关联,其实很简略,就是几个东西或者工作是常常同时呈现的,“啤酒+尿布”就对错常典型的两个关联商品。

所谓关联,反映的是一个工作和其他工作之间依赖或关联的常识。当我们查找英文文献的时分,可以发现有两个英文词都能描述关联的意义。第一个是相关性relevance,第二个是关联性association,两者都可以用来描述工作之间的关联程度。其间前者主要用在互联网的内容和文档上,比如查找引擎算法中文档之间的关联性,我们选用的词是relevance;然后者往往用在实践的事物之上,比如电子商务网站上的商品之间的关联度我们是用association来表明的,而关联规则是用association rules来表明的。

假如两项或多项属性之间存在关联,那么其间一项的属性值就能够依据其他属性值进行猜测。简略地来说,关联规则可以用这样的方式来表明:A→B,其间A被称为条件或者左部(LHS),而B被称为成果或者右部(RHS)。假如我们要描述关于尿布和啤酒的关联规则(买尿布的人也会买啤酒),那么我们可以这样表明:买尿布→买啤酒。

关联算法的两个概念

在关联算法中很重要的一个概念是支撑度(Support),也就是数据集中包括某几个特定项的概率。

比如在1000次的商品交易中同时呈现了啤酒和尿布的次数是50次,那么此关联的支撑度为5%。

和关联算法很相关的另外一个概念是相信度(Confidence),也就是在数据集中现已呈现A时,B发生的概率,相信度的核算公式是 :A与B同时呈现的概率/A呈现的概率。

数据关联是数据库中存在的一类重要的可被发现的常识。若两个或多个变量的取值之间存在某种规律性,就称为关联。关联可分为简略关联、时序关联、因果关联等。关联分析的意图是找出数据库中隐藏的关联网。有时其实不知道数据库中数据的关联函数,或者即便知道也是不确定的,因此关联分析生成的规则带有相信度。

关联规则发掘发现很多数据中项集之间风趣的关联或相关联络。它在数据发掘中是一个重要的课题,最近几年已被业界所广泛研讨。

关联规则发掘的一个典型例子是购物篮分析。关联规则研讨有助于发现交易数据库中不同商品(项)之间的联络,找出顾客购买行为模式,如购买了某一商品对购买其他商品的影响。分析成果可以应用于商品货架布局、货存组织以及依据购买模式对用户进行分类。

关联规则的发现过程可分为如下两步:

第一步是迭代辨认所有的频频项目集(Frequent Itemsets),要求频频项目集的支撑度不低于用户设定的最低值;

第二步是从频频项目集中构造相信度不低于用户设定的最低值的规则,发生关联规则。辨认或发现所有频频项目集是关联规则发现算法的核心,也是核算量最大的部分。

支撑度和相信度两个阈值是描述关联规则的两个最重要的概念。一项目组呈现的频率称为支撑度,反映关联规则在数据库中的重要性。而相信度衡量关联规则的可信程度。假如某条规则同时满足最小支撑度(min-support)和最小相信度(min-confidence),则称它为强关联规则。

关联规则数据发掘阶段

第一阶段有必要从原始资料集合中,找出所有高频项目组(Large Itemsets)。高频的意思是指某一项目组呈现的频率相对所有记载而言,有必要达到某一水平。以一个包括A与B两个项意图2-itemset为例,我们可以求得包括{A,B}项目组的支撑度,若支撑度大于等于所设定的最小支撑度(Minimum Support)门槛值时,则{A,B}称为高频项目组。一个满足最小支撑度的k-itemset,则称为高频k-项目组(Frequent k-itemset),一般表明为Large k或Frequent k。算法并从Large k的项目组中再试图发生长度超过k的项目集Large k+1,直到无法再找到更长的高频项目组为止。

关联规则发掘的第二阶段是要发生关联规则。从高频项目组发生关联规则,是使用前一步骤的高频k-项目组来发生规则,在最小可信度(Minimum Confidence)的条件门槛下,若一规则所求得的可信度满足最小可信度,则称此规则为关联规则。

例如:经由高频k-项目组{A,B}所发生的规则,若其可信度大于等于最小可信度,则称{A,B}为关联规则。

就“啤酒+尿布”这个案例而言,使用关联规则发掘技能,对交易资料库中的记载进行资料发掘,首要有必要要设定最小支撑度与最小可信度两个门槛值,在此假设最小支撑度min-support=5% 且最小可信度min-confidence=65%。因此契合需求的关联规则将有必要同时满足以上两个条件。若通过发掘所找到的关联规则 {尿布,啤酒}满足下列条件,将可承受{尿布,啤酒} 的关联规则。用公式可以描述为:

Support(尿布,啤酒)≥5% and Confidence(尿布,啤酒)≥65%。

其间,Support(尿布,啤酒)≥5%于此应用典范中的意义为:在所有的交易记载资猜中,至少有5%的交易呈现尿布与啤酒这两项商品被同时购买的交易行为。Confidence(尿布,啤酒)≥65%于此应用典范中的意义为:在所有包括尿布的交易记载资猜中,至少有65%的交易会同时购买啤酒。

因此,今后若有某消费者呈现购买尿布的行为,我们将可引荐该消费者同时购买啤酒。这个商品引荐的行为则是依据{尿布,啤酒}关联规则而定,因为就以前的交易记载而言,支撑了“大部分购买尿布的交易,会同时购买啤酒”的消费行为。

从上面的介绍还可以看出,关联规则发掘通常比较适用于记载中的指标取离散值的状况。

假如原始数据库中的指标值是取接连的数据,则在关联规则发掘之前应该进行适当的数据离散化(实践上就是将某个区间的值对应于某个值),数据的离散化是数据发掘前的重要环节,离散化的过程是否合理将直接影响关联规则的发掘成果


人人都是产品主管(woshipm)是以产品主管、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位效劳产品人和运营人,建立9年举行在线讲座500+期,线下分享会300+场,产品主管大会、运营大会20+场,掩盖北上广深杭成都等15个城市,内行业有较高的影响力和知名度。平台集合了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一同生长。