实验1 Fisher线性判别实验
一、实验目的
应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量
本实验通过编制程序体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。
二、实验原理
1．线性投影与Fisher准则函数
各类在维特征空间里的样本均值向量：
，
(4.5-2)
通过变换映射到一维特征空间后，各类的平均值为：
，
(4.5-3)
映射后，各类样本“类内离散度”定义为：
，
(4.5-4)
显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数：
(4.5-5)
使最大的解
就是最佳解向量，也就是Fisher的线性判别式。
2．求解
从的表达式可知，它并非
的显函数，必须进一步变换。
已知：，
, 依次代入(4.5-1)和(4.5-2)，有：
，
(4.5-6)
所以：
(4.5-7)
其中： (4.5-8)
是原
维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，
越大越容易区分。
本文来源：https://www.2haoxitong.net/k/doc/86f503c32cc58bd63186bda7.html
文档为doc格式