Fisher判别
理论，编程步骤和优缺点
1.理论
判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析是一种应用性很强的统计数据分析方法。
Fisher判别
（1）借助方差分析的思想构造一个线性判别函数：
（2）确定判别函数系数时要求使得总体之间区别最大，而使每个总体内部的离差最小。
（3）从几何的角度看，判别函数就是p维向量X在某种方向上的投影。使得变换后的数据同类别的点“尽可能聚在一起”，不同类别的点“尽可能分离”，以此达到分类的目的。
两类Fisher判别示意图
![](https://wkrtcs.bdimg.com/rtcs/image?w=478.66666666667&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"478.66666666667","h":"426.66666666667","dataType":"gif","c":"word/media/image1.png"})
![](https://wkrtcs.bdimg.com/rtcs/image?w=284&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"284","h":"354.66666666667","dataType":"gif","c":"word/media/image2.png"})
![](https://wkrtcs.bdimg.com/rtcs/image?w=56&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"56","h":"214.66666666667","dataType":"gif","c":"word/media/image3.png"})
![](https://wkrtcs.bdimg.com/rtcs/image?w=262.66666666667&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"262.66666666667","h":"70.666666666667","dataType":"gif","c":"word/media/image9.png"})
（1）如果有多个类别， Fisher判别可能需要两个或者更多的判别函数才能完成分类。
（2）一般来说判别函数的个数等于分类的个数减一。
（3）得到判别函数后，计算待判样品的判别函数值，根据判别函数的值计算待判样品到各类的重心的距离，从而完成分类。
2.编程步骤
![](https://wkrtcs.bdimg.com/rtcs/image?w=17&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"17","h":"37","dataType":"gif","c":"word/media/image10.png"})
把来自两类的训练样本集分成和两个子集和。
![](https://wkrtcs.bdimg.com/rtcs/image?w=17&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"17","h":"37","dataType":"gif","c":"word/media/image17.png"})
由，，计算。
![](https://wkrtcs.bdimg.com/rtcs/image?w=17&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"17","h":"37","dataType":"gif","c":"word/media/image21.png"})
由计算各类的类内离散度矩阵，。
![](https://wkrtcs.bdimg.com/rtcs/image?w=17&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"17","h":"37","dataType":"gif","c":"word/media/image24.png"})
计算类内总离散度矩阵。
![](https://wkrtcs.bdimg.com/rtcs/image?w=17&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"17","h":"37","dataType":"gif","c":"word/media/image26.png"})
计算的逆矩阵。
![](https://wkrtcs.bdimg.com/rtcs/image?w=17&md5sum=d5723e0e9a09d4409e8694f39ec48c5d&sign=294ca9ea76&rtcs_flag=1&rtcs_ver=3.2&l=webapp&bucketNum=46&ipr={"t":"img","w":"17","h":"37","dataType":"gif","c":"word/media/image29.png"})
由求解。
3.优点
（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后的样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离竟可能的远，同一类别的尽可能的集中分布。
（2）Fisher方法可以直接求解法向量。
（3）Fisher的线性判别不仅适用于确定性的模式分类器的训练，而且对于随机的模机也是适用的，Fisher还可以推广到多类问题中去。
缺点
（1）如果M1=M2,W=0.则这样的样本线性不可分；M1！=M2，未必线性可分；SW不可逆，未必不可分。
（2）对于线性不可分的情况，Fisher方法无法确定分类。
本文来源：https://www.2haoxitong.net/k/doc/a1e1dd8e76a20029bd642db8.html
文档为doc格式