我们在本节中展示了如何多任务学习,[Evgeniou and Pontil 2004]描述的,本文提出的关联的单一模型一样。

假设我们给定索引为$$t \in {1,2,...T}$$ 索引的$$T$$个学习任务,每个任务的训练 集$$$$。 这些任务是不同的

但是相关的。任务可以是给定的领域学习预测特征。 Evgeniou和Pontil [2004]将支持向量机应用于多任务学习 ,通过将任务t的权重向量分解为

其中$$w_0$$可以解释为一个全局分类器,捕获所有任务中常见的内容 ,$$v_t$$是一个特定任务的小向量。

联合优化问题是最小化以下成本:

其中l是给定的损失函数。

注意,$$\lambda_0$$和$$\lambda_1$$之间的相对性控制连接 任务的强度。极端情况下,如果$$\lambda_0 - \propto$$,那么$$w_0 = 0$$,所有任务都解耦;另一方面,当$$\lambda_1 - \propto$$,我们得到$$v_t = 0$$,所有任务共享 相同的预测特征。

并不是明确地构建这些分类器,而是同样的分类器 获得的单个权重向量,并引入任务之间以及特征之间的关联特征。以下矢量 构建是隐含的。当$$\lambda = \lambda_0 = \lambda_1$$,

两种方法是相同的 。$$\lambda_0 \neq \lambda_1$$的情况可以通过关联特征的$$\sqrt{\lambda_0 \ \lambda_1} $$处理。

如[Weinberger et al. 2009]提及,使用关联特征是 因为它特别强大,包含多任务学习框架。它的主要 优点是不需要具体的多任务解算器:使用标准逻辑回归求解器训练。

results matching ""

    No results matching ""