我们在本节中展示了如何多任务学习,[Evgeniou and Pontil 2004]描述的,本文提出的关联的单一模型一样。
假设我们给定索引为$$t \in {1,2,...T}$$ 索引的$$T$$个学习任务,每个任务的训练
集$$$$。 这些任务是不同的
但是相关的。任务可以是给定的领域学习预测特征。 Evgeniou和Pontil [2004]将支持向量机应用于多任务学习 ,通过将任务t的权重向量分解为
其中$$w_0$$可以解释为一个全局分类器,捕获所有任务中常见的内容 ,$$v_t$$是一个特定任务的小向量。
联合优化问题是最小化以下成本:
其中l是给定的损失函数。
注意,$$\lambda_0$$和$$\lambda_1$$之间的相对性控制连接 任务的强度。极端情况下,如果$$\lambda_0 - \propto$$,那么$$w_0 = 0$$,所有任务都解耦;另一方面,当$$\lambda_1 - \propto$$,我们得到$$v_t = 0$$,所有任务共享 相同的预测特征。
并不是明确地构建这些分类器,而是同样的分类器
获得的单个权重向量,并引入任务之间以及特征之间的关联特征。以下矢量
构建是隐含的
。当$$\lambda = \lambda_0 = \lambda_1$$,
两种方法是相同的 。$$\lambda_0 \neq \lambda_1$$的情况可以通过关联特征的$$\sqrt{\lambda_0 \ \lambda_1} $$处理。
如[Weinberger et al. 2009]提及,使用关联特征是 因为它特别强大,包含多任务学习框架。它的主要 优点是不需要具体的多任务解算器:使用标准逻辑回归求解器训练。