实验1 Fisher线性判别实验

实验1 Fisher线性判别实验

一、实验目的

应用统计方法解决模式识别问题的困难之一是维数问题，低维特征空间的分类问题一般比高维空间的分类问题简单。因此，人们力图将特征空间进行降维，降维的一个基本思路是将d维特征空间投影到一条直线上，形成一维空间，这在数学上比较容易实现。问题的关键是投影之后原来线性可分的样本可能变为线性不可分。一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分。如何确定投影方向使得降维以后，样本不但线性可分，而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布），就是Fisher线性判别所要解决的问题。

本实验通过编制程序让初学者能够体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。

二、实验要求

1、改写例程，编制用Fisher线性判别方法对三维数据求最优方向W的通用函数。

2、对下面表1-1样本数据中的类别ω1和ω2计算最优方向W。

3、画出最优方向W的直线，并标记出投影后的点在直线上的位置。

表1-1 Fisher线性判别实验数据

4、选择决策边界，实现新样本xx1=（-0.7,0.58,0.089），xx2=（0.047,-0.4,1.04）的分类。

5、提高部分（可做可不做）：设某新类别ω3数据如表1-2所示，用自己的函数求新类别ω3分别和ω1、ω2分类的投影方向和分类阈值。

表1-2 新类别样本数据

三、部分参考例程及其说明

求取数据分类的Fisher投影方向的程序如下：其中w为投影方向。

clear % Removes all variables from the workspace.

clc % Clears the command window and homes the cursor.

% w1类训练样本，10组，每组为行向量。

w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;... 0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063];

% w2类训练样本，10组，每组为行向量。

w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;... -0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49];

xx1=[-0.7,0.58,0.089]'; % 测试数据xx1，为列向量。

xx2=[0.047,-0.4,1.04]'; % 测试数据xx2，为列向量。

s1= cov(w1,1); % w1类样本类内离散度矩阵

m1= mean(w1)'; % w1类样本均值向量，为列向量

s2= cov(w2,1); % w2类样本类内离散度矩阵

m2= mean(w2)'; % w2类样本均值向量，为列向量

sw=s1+s2; % 总类内离散度矩阵

w= inv(sw)*(m1-m2); % 投影方向

y0=(w'*m1+w'*m2)/2; % 阈值y0

figure(1)

for i=1:10

plot3(w1(i,1),w1(i,2),w1(i,3),'r*')

hold on

plot3(w2(i,1),w2(i,2),w2(i,3),'bo')

end

z1=w'*w1';

z2=w'*w2';

figure(2)

for i=1:10

plot3(z1(i)*w(1),z1(i)*w(2),z1(i)*w(3),'rx')

hold on

plot3(z2(i)*w(1),z2(i)*w(2),z2(i)*w(3),'bp')

end

hold off

y1=w'*xx1;

if y1>y0

fprintf('测试数据xx1属于w1类\n');

else

fprintf('测试数据xx1属于w2类\n');

end

y2=w'*xx2;

if y2>y0

fprintf('测试数据xx2属于w1类\n');

else

fprintf('测试数据xx2属于w2类\n');

end

程序运行结果如图1-1和图1-2所示。

图 1-1 原始数据分布图 图 1-2 线性投影后图形

思考问题：空间中一点向某方向投影后（可以以二维空间为例体会这个问题），投影点到坐标原点的距离应是多少？

四、实验报告要求

1、描述自己对投影方向的理解；

2、写出改编的通用函数程序；

3、记录实验过程结果，并分析实验中遇到的问题。

本文来源：https://www.2haoxitong.net/k/doc/95a448a9d1f34693daef3e4b.html