我们用近似对数似然性来看要增加到训练集中的新特征。

现模型的对数近似值为：

第一个近似是说已经学习的权重是固定的，而只看新加入的特征的权重。 为了简单起见，
假设新的特征取d个值，这些值是$$X = {1,...,d}$$。

因此，我们需要学习d个权重$$w_1, ..., w_d$$，每个对应一个特征值。 然后，使用第i个样本的新特征进行更新的预测： $$s_i = w_x$$

通过最小化新的对数似然度来实现：

公式可以被化简为：

既然所有的$$w_k$$ 相互独立，则优化问题变成了：

然而对$$w_k$$ 还没有一个完整的解决方案，更远的近似方法是将$$w_k$$ 在牛顿法后设值：

$$L_k$$ 的一阶和二阶为：