典型系统~广告系统和记数系统(转)

互联网智能广告系统简易流程与架构

1. 业务简述

    从业务上看    整个智能广告系统，主要分为：

    1）业务端：广告主的广告后台

    2）展现端：用户实际访问的页面

    业务端，广告主主要有两类行为：

    1）广告设置行为：例如设置投放计划，设置地域，类别，关键字，竞价等

    2）效果查看行为：例如广告展示次数是多少，广告点击次数是多少等

    展现端，用户主要也有两类行为：

    1）站点浏览行为：用户浏览实际的信息，此时广告系统决定出广告主的什么广告

    2）广告点击行为：此时广告系统会对广告主进行扣费

 

2. 业务流程

    步骤一：广告主在业务端投递广告，进行条件设置

    步骤二：用户来到了网站，进入了“北京-上地-租房”类别，广告初筛实施

    步骤三：用户属性与广告主属性匹配，广告精筛实施

                  系统将初筛出来的M条广告和用户属性进行匹配筛选，又过滤掉了一部分，最后剩余N条待定广告，这些广告既满足用户的需求（初筛），这些用户也满足广告主的需求（精筛），后者是在AS-advanced search策略服务完成的。

    步骤四：综合排序，并返回Top X的广告                 

                  打分排序的依据是什么呢？

                  有人说按照竞价排序bid，出价高的打分高（这是大家对百度最大的误解，百度是cpc收费）

                  有人说按照CTR点击率排序，CTR高的点的人多（百度的kpi指标可不是pv）

                  出价高，但没人点击，广告平台没有收益；点击率高，但出价低，广告平台还是没有收益。最终应该按照广告的出价与CTR的乘积作为综合打分排序的依据，bid*CTR。

                  既然bid*CTR是所有广告综合打分的依据，且出价bid又是广告主事先设定好的，那么实际上，广告排序问题的核心又转向了广告CTR的预测，CTR预测是推荐系统、广告系统、搜索系统里非常重要的一部分，

                  是一个工程，算法，业务三方结合的问题，本文就不展开讨论了。

                  无论如何，N条广告，根据bid*预估CTR进行综合打分排序后，返回了打分最高的3个广告（广告位只有3个）。

                  有些系统没有第二步骤用户属性过滤，而是将用户属性因素考虑到综合排序中。

    步骤五：展现端展示了广告，用户点击了广告

                  展示了广告后，展现端js会上报广告展示日志，有部分用户点击了广告，服务端会记录点击日志，这些日志可以作为广告算法实施的数据源，同时，他们经过统计分析之后，会被展示给广告主，

                  让他们能够看到自己广告的展示信息，点击信息。

                  这些日志（一般会实施AB测），也是算法效果好坏评估的重要依据，根据效果逐步优化改进算法。

    步骤六：对广告主进行扣费

                  用户既然点击了广告，平台就要对投放广告的广告主进行扣费了，扣费前当然要经过反作弊系统的过滤（主要是恶意点击），扣费后信息会实时反映到数据层，费用扣光后，广告就要从数据层下线。

2. 系统综述

    从系统分层架构上看，智能广告系统分为三层：

• 站点层：用户和广告主直接面向的网站站点

• 服务层：为了实现智能广告的业务逻辑，提供的通用服务，此处又主要分为四大类服务：

  策略服务BS：实施广告策略，综合排序

  检索服务AS：语义相关性检索

  计费服务：用户点击广告时进行扣费

  反作弊服务：不是每次点击都扣费，要经过反作弊，去除恶意点击（相对独立，未在架构图中画出）

• 数据层：用户数据，广告数据，竞价数据，日志数据等等等等

 

3. 智能广告系统的业务流程与系统架构：

    1）广告主投放与设置广告

    2）用户访问平台，展现合适广告

    通过广告属性，进行“语义相关性”初筛，通过BS完成

    通过用户属性，出价信息，点击率预测信息，进行综合打分排序筛选，通过AS完成

    3）记录展现日志，点击日志，进行扣费

    广告是展现，是一个：

• 广告满足用户需求（初筛）

• 用户满足广告需求（精筛）

• 平台利益最大化（bid*CTR综合排序）

     的过程

     广告的排序不是由出价(bid)决定的，而是由出价(bid)*点击率(ctr)决定的。

     点击率(ctr)是一个未来将要发生的行为，智能广告系统的核心与难点是点击率预测。

 

 

计数系统架构实践一次搞定

1. 小小的计数，在数据量大，并发量大的时候，其架构实践思路为：

• 计数外置：由“count计数法”升级为“计数外置法”

• 缓存优化：读多写少，甚至写多但一致性要求不高的计数，需要进行缓存优化，降低数据库压力

• 缓存kv设计优化，可以由[key:type]->[count]，优化为[key]->[c1:c2:c3]

• 数据库扩展性优化，可以由列扩展优化为行扩展