《机器学习》（二）——《西瓜书》3章_爱读Paper的Toby

线性模型基本形式

给定由d个属性描述对的示例 $x = (x_{1};x_{2};...;x_{d})$ ，其中 ${x_{i}}$ 是第个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

一般用向量形式表示写成

线性回归

线性回归试图学得

利用均方误差进行度量，让均方误差最小化，即

均方误差对应常用的欧几里得距离或简称“欧式距离”。基于均方误差最小化进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线的欧式距离之和最小。

求解w和b使得均方误差最小化的过程，称为线性回归模型的最小二乘“参数估计”。我们将均方误差分别对w和b求导，得到

令上两式为零可得到w和b最优解的闭式解

更一般的情形是数据集D，样本由d个属性描述。此时我们试图学得

这称为“多元线性回归”。类似地，可利用最小二乘来对w和b进行估计。为方便讨论，把w和b吸收如向量形式相应地，把数据集D表示为一个大小的矩阵X，其中每行对应一个示例，改行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即

再把标记写成向量形式则有

当为满秩矩阵或正定矩阵时，令上式为零可得的

当其不是满秩矩阵，即我们常遇到大量的变量，其数目超过样例数，导致X的列数多于行数，显然不满秩。此时可解除多个 $\hat{w}$ ，他们都能使均方误差最小化。选择哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。

假设我们认为示例所对应的输出标记是在指数尺度多行变化，那就可将输出标记的对数作为先行模型逼近的目标，即

这就是“对数线性回归”。同时实际上是在试图让逼近y。实质已是求输入空间到输出空间的非线性函数映射。

更一般地，考虑单调可微函数g(.)，令

这样得到的模型称为“广义线性模型（generalized linear model）”，其中函数g(.)称为“联系函数”。显然，对数线性回归是广义线性模型在g(.)=ln(.)时的特例。

对数几率回归

对于分类任务，只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。考虑二分类任务，其输出标记，而线性回归模型产生的预测值是实值，于是，只需将实值转换为0/1值。最理想的是“单位阶跃函数”

即预测值z大于零就判为正例，小于零则判为反例，预测值为临界值零则可任意判别。

但单位阶跃函数不连续，我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并单调可微。对数几率函数（logistic function）即为这样一个替代函数：

对数几率函数是一种“sigmoid函数”，它将z值转化为一个接近0或1的y值，并且其输出在z=0附近变化很陡，则

若将 y 视为样本 x 作为正例的可能性，则 1-y 是其反例可能性，两者的比值

称为“几率（odds）”，反映了 x 作为正例的相对可能性。对几率取对数则得到“对数几率（log odds，亦称logit）”

从上可以看出，实际上是用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应模型称为“对数几率回归”。

估计对数几率回归的 w 和 b。若将 y 视为类后验概率估计则

显然有

利用极大似然法来估计 w 和 b。给定数据集，对对率回归模型最大化“对数似然”

线性判别分析Fisher

线性判别分析LDA（Linear Discriminant Analysis）是一种经典的线性学习方法，亦称“Fisher 判别分析”。

LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

给定数据集令分别表示第类示例的集合、均值向量、协方差矩阵。若将数据投影到直线 w 上，则两类样本的中心在直线上的投影分布为 $w^{T}u_{0}$ 和 $w^{T}u_{1}$ ；若将所有样本点都投影到直线上，则两类样本的协方差分别为 $w^{T}\Sigma _{0}w$ 和 $w^{T}\Sigma _{1}w$ 。

欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小，即 $w^{T}\Sigma _{0}w + w^{T}\Sigma _{1}w$ 尽可能小；而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即 $||w^{T}u_{0} - w^{T}u_{1}||_{2}^{2}$ 尽可能大。同时考虑二者，则可得到欲最大化的目标

多分类学习

现实任务中常遇到多分类学习任务。有些二分类学习方法可直接推广到多分类，利用二分类学习器来解决多分类问题。

考虑N个类别 C1、C2、.....Cn，多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。

最经典的拆分策略有三种：一对一（one vs one ，OvO）、一对其余（one vs rest，OvR）和多对多（many vs many，MvM）。

OvO将 N 个类别两两配对，从而产生 N(N-1)/2 个二分类任务；

OvR则每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N 个分类器。

OvR只需要训练N个分类器，而OvO需训练 N(N-1)//2 个分类器，因此OvO的存储开销和测试时间开销通常比OvR更大。但在训练时，OvR的每个分类器均使用全部样本进行训练，而OvO的每个分类器仅用到两个类别的样例，因此，在类别很多时，OvO的训练时间开销通常比OvR更小。至于预测性能，则取决于具体的数据分布，在多数情况下两者差不多。

MvM 是每次将若干可类作为正类，若干个其他类作为反类。显然，OvO和OVR 是MvM 的特例。