5.3 过滤和特征提取¶

在上一个例子中，我们构造了一个 \(p\times M\) 的基矩阵\(\mathbf H\)，然后将我们的特征转换为新特征\(x^*=\mathbf H^Tx\)。这些过滤后的特征接着作为一个学习过程的输入：在上一个例子中，这是线性逻辑斯蒂回归。

高维特征的预处理是非常普遍的而且对于改善学习算法的效果是很有效的。预处理也不需要像上面一样是线性的，而是可以是一般的（非线性）函数 \(x^*=g(x)\)。派生特征\(x^*\)可以接着作为任意（线性或非线性）学习过程的输入。

举个例子，对于信号或者图像识别，很流行的方式是首先通过小波变换\(x^*=\mathbf H^Tx\)对原始特征进行转换（5.9节），接着将特征\(x^*\)作为神经网络的输入（第11章）。小波在捕捉离散跳跃或边时是有效的，神经网络是构造这些特征的非线性函数来预测目标变量的强有力工具。通过运用专业知识来构造合适的特征，经常可以改进仅仅具有原始特征\(x\)的学习方法。