[Nigam et al. 1999] (a.k.a.
Logistic Regression [Menard 2001]) 一问中使用的是最大熵。

给定训练集$$(x_i, y_i)$$ ，其中$$x_i \in (0, 1)^d$$表示一个稀疏二进制的d维特征向量，$$y_i \in (-1,1)$$ 是目标, 找到权重向量$$w \in R^d$$. 1类x的预测概率是：

逻辑回归模型是对数比的线性模型：

通过用L2最小化负对数似然性来找到权重向量w
，权重向量的正则化项

上述方程是一个凸无约束和可微分优化问题。 它可以用任何梯度优化技术来解决。 我们使用L-BFGS [Nocedal

1980]，一个最先进的优化器来处理。 [Minka 2003]问题回顾了逻辑回归不同优化技术。