线性模型只能学习每个特征单独的效果。例如, 想象一个有两离散特征的模型,广告主和广告商。该模型 会了解到一些广告主和广告商有更高的点击率更,但不知道美国银行广告在finance.yahoo.com的点击率特别 高。为此,我们需要引入一个新的关联特征——广告主和广告商的笛卡尔乘积。

$$c_1$$和$$c_2$$的两个离散变量之间的联系表示为

$$c_1 \times c_2$$。如果$$c_1$$和$$c_2$$较大,则关联 特征会有很高的基数,使用散列技巧要更加谨慎。

请注意,所有特征之间的计算关联等同于认为映射为2的多项式内核[Sch¨olkopf和Smola 2001] ,其中[Chang et al. 2010]一文中解释了映射。

由于基数很大,可能会有一对 训练数据中看不到的变量值。而这些对(广告主和广告商),例如,作为特定的广告商,根据偏好指定特征的广告主。哈希技巧有助于降低数据的维度 ,但可能会因为冲突而看不到这些值的价值。 这可能是不对的,特别是在不频繁的预测的探索环境中 这些值是必需的。可能的解决方案是变量值 使用低维表示,例如通过使用矩阵分解或相关方法[Menon et al. 2011]。这种形式是 本文未研究。可能的未来工作方向是用哈希低维表示组合:前者会捕获 数据的总体趋势,而后者可以在训练集中观察到频繁对来改进模型 。

results matching ""

    No results matching ""