相关query挖掘
1.何为相关query
我通常也把相关query称为相似query，搜索日志中一个用户在短时间内的一系列搜索词被称为相关query。相关就是两个query间有一定的关系，反映了用户在当时的需求。本文就以应用搜索为背景来介绍相关query。
2.有什么作用
相关query的作用就很多了：
- 错词纠正：输入一个错误的词找不到应用，然后输入一个正确的词
- 同名互换：和错词纠正是一个场景，如中英文名称(cytus和音乐世界)，别名（艾达的梦和纪念碑谷）等
- 同义词：对战和对打；台球和桌球等
- 同类型应用：如微信和QQ，美团和糯米等
- 内容补充：如ttkp和天天酷跑，土和土豆，天之痕和轩辕剑等
当用户输入一个query时，后台加入其相关query一起搜索，就可以更好的理解用户，返回更多、更准确的结果，减少搜索次数，提高下载次数，提高转化率。
3.如何挖掘
候选数据
分析每天的用户日志，从搜索日志中提取短时间（15分钟或30分钟）内的搜索词组成候选相关query对<a, b>。最后分析的日志天数越多越好，数据越多挖掘出的相关query对越多，结果也越准确。
特征抽取
- 共现相似度：条件概率的变体，增加了对大query的惩罚（出现频率比较高的top query，如微信，大query和其他query共现的可能性更大）
- 编辑距离：反映两个query词在内容上的相似程度，如天天赛车和天天飞车，它们都有天天，有一定的加分贡献，但应该以共现相似度为
模型训练
- 人工标注样本数据，指出一定量的query对(query pair)是相关query或者不是
- 确定候选机器学习算法，如逻辑回归、SVM或者决策树等，用样本数据训练模型
- 用训练好的模型预测原始数据，根据实际效果最终确定一个算法
补招漏选数据
最终结果的多少的主要影响因素有用户搜索日志间隔、日志天数。具体实现过程中发现和大query相关的小众query招不回来，因为其本身搜索次数太多。但我们需要大query来为小query导流。
<纪念碑谷（44736次）,天空迷宫（200次）>，共现次数是89次，相似度是0.004，相似度太低，导致纪念碑谷无法召回天空迷宫。
<天空迷宫,纪念碑谷>其相似度是0.069，被认为是相关query。
所以我们会反向找一次，对于相关query对<天空迷宫,纪念碑谷>会判断下其反向对<纪念碑谷,天空迷宫>的情况，如果发现纪念碑谷是大query（超过一定次数如1w）且其自身相似度超过一定域值（如0.003），我们也会把<纪念碑谷,天空迷宫>给招回来。
线上反馈
在线系统使用离线数据（相关查询对）进行了线上搜索结果的补充或召回，将相关query对应的应用展示给了用户，用户会选择下载与不下载。我们就获得这些数据来重新训练算法模型。
queryA的下载列表<appIds>
从appIds中找到queryA的相关queryB召回的应用：app应用名与queryB的编辑距离超过一定值，就认为该app是由queryB召回
如果queryB召回的应用下载数超过一定域值，我们就认为这是一个正向case，queryB是queryA的相关query
如果queryB召回的应用没有下载或下载小于一定数目，就认为是一个负向case，queryB不是queryA的相关query
这样我们就可以通过线上展示结果获取一份真实的标注数据，用该数据去重新训练算法，获得一个新模型来重新预测原始数据。
线上反馈的作用就是找到真实标注数据，替换旧样本获得新模型，从而不断提高模型的准确度
持久化good case，避免回退
最初<queryA, queryB>是相关query对，每当用户搜索queryA时，就会出来queryB的结果。时间久了，用户输入queryA后就不会再输入queryB，那就导致可能在某段时间后挖掘不出该相似对，那queryA下就无法显示queryB对应的应用；用户又会渐渐的在输入queryA后再次输入queryB才能获得想要的结果。这样就导致效果起伏，我们需要避免这种情况。
所以对每次线上反馈中的正向case，我们都做持久化，以白名单的形式强制加到最终的相关query中。以此来积累正向case，减少效果回退的情况。
4.整体流程
到现在为止，我们就拥有了一个动态、完整、可持续的离线在线相互反馈促进的系统了。
