计算广告中的响应预测的学习方法使用回归或分类模型，其中所有可能产生影响用户响应的因素都被包括在特征或协变量中。这些模型使用的特征可以分为：

• 上下文特征，如搜索的query或广告商网页的内容匹配；
• 内容特征[Ciaramita et al. 2008; Hillard et al. 2010]，展示广告的文字特征[Cheng et al. 2012; Liu et al. 2012]；
• 用户特征[Cheng and Cantu-Paz 2010]；
• 通过聚合历史数据生成的反馈特征[Chakrabarti et al. 2008; Hillard et al. 2010]。

并非所有这些功能都能在展示广告的上下文中使用，广告主和广告商信息通常表示为唯一标识符。其中，每个唯一标识符被认为是一个特征，维度很受关注。相互的信息和类似的过滤方法[Guyon and Elisseeff 2003]经常被包在容器中使用。最近处理降维的方法是使用特征散列[Weinberger et al. 2009]。哈希背后的想法是通过将特征投影到较低维度空间来减少特征数量。在机器学习的背景下，因为这个方法的间接性和实验有效性而得到普及。

逻辑回归和决策树是计算广告经常使用的模型。然而，应用决策树在计算广告中还有更多的挑战，由于它具有非常大的基数的分类特征和数据的稀疏性。Kota and Agarwal [2011]使用增益比作为分裂标准，正响应阈值作为附加的停止标准避免太多有0正数的节点。作者使用自回归Gamma-Poisson平滑，自上而下，回归到父节点的响应率。因为高计算成本，决策树有时候被用在多层方法。

用稀疏数据预测用户响应一直是研究的重点。然而，这项工作大部分是在搜索广告上进行的，或者查询[Ashkan et al. 2009; Hillard et al. 2011]或广告主竞买的关键词[Regelson and Fain 2006; Richardson al. 2007]。最近Agarwal等人和Kota and Agarwal提出了使用数据中存在的层次结构解决这个问题。该方法使用训练标准特征的基准线模型来估计基准线概率，然后通过探索广告主和广告商相关的特征来学习修正。该模型假设所有广告主和广告商的修正因子都可以使用成对的对数线性函数来估计节点，其中成对状态参数为泊松分布。然后使用非中心参数来利用层次关系估计状态参数。这是必需的，因为许多状态观察数量很少，没有正样本。[Menon et al. 2011]将这种分层平滑技术与矩阵分解相结合，用于协同过滤和计算增益的方法。我们的方法，是对分层或其他特征之间的关系进行编码，直接在同一模型中作为关联特征。在第4.8节我们使用逻辑回归的蒂霍诺夫正则化隐含地实现了层次化的效果平滑。因此，本文提出的框架，利用特征之间的关系和散列，使用关联特征和正则化以保持模型大小易于操作。我们认为我们的方法不需要太多相关知识（例如我们不需要知道广告活动的结构或者网站页面来进行编码），它具有更好的缩放属性，更简单实行。