文档文库

手机版

投诉建议

首页 > 人工神经网络及其数据拟合中的应用

人工神经网络及其数据拟合中的应用

发布时间：2012-08-29 19:18:55 来源：文档文库

小中大

字号：

手机查看

人工神经网络及其数据拟合中的应用

摘要

本文将讲述人工神经网络及其数据拟合中的应用。人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理通信机器人以及专家系统等领域得到广泛的应用。文章首先介绍人工神经元和人工神经网络的数学结构，然后介绍神经网络的建立、训练与泛化的概念以及MATLAB语言的神经网络工具箱在解决这些问题中的应用。通过实际例题来巩固这些知识点。

关键词：人工神经网络拟合径向基结构 MATLAB

一、神经网络基础知识

1.1人工神经元模型

（i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。

（ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。

（iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在(0,1)或（-1,1）之间）。

此外还有一个阈值

以上作用可分别以数学式表达出来：

式中为输入信号，为神经元k之权值，为线性组合结果，为阈值，为激活函数又称为传输函数，为神经元k的输出。常用的传输函数有：Sigmoid函数和对数Sigmoid函数。

在神经元中，权值和传输函数是两个关键的因素。权值的物理意义是输入信号的强度，多个神经元则是连接强度。神经元的权值应该通过神经元对样本点反复的学习过程而确定，这个过程称为训练。

1.2神经网络结构

从连接方式上可将其划分为前馈型网络和反馈型网络。

（i）前馈型网络

各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第 1 − i 层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。

（ii）反馈型网络

所有结点都是计算单元，同时也可接受输入，并向外界输出。

1.3神经网络结构工作方式

神经网络的工作过程主要分为两个阶段：

第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。

从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。

所以我们知道，神经网络要解决的问题是通过已知数据，反复训练神经网络，得到加权量和阀值，使得神经网络的计算输出信号与实际期望输出信号误差最小。一种较适合的方式就是使得误差的平方和最小，即

其中上标k为样本组数。

对于w v采用共轭梯度法来搜索最优值。给出权值和的初值和，则可以通过下面的递推算法修正权值

MATLAB里利用newff()函数来建立前馈的神经网络模型，其调用格式为

, 分别为列向量，存储各个样本输入数据的最小值和最大值，第二个输入变量是一个行向量，将神经网络的节点数输入，单元的个数是隐层的层数；第三个输入变量为单元数组。

1.4神经网络的训练与泛化

建立了神经网络模型net，则可以调用train（）函数对神经网络参数进行训练。调用格式为

其中，变量为n*M矩阵，n为输入变量的路数，M为样本的组数，Y为m*M矩阵，m为输出变量的路数，X，Y分别存储样本点的输入和输出数据。由样本点数据进行训练得出训练后的神经网络对象net。

神经网络训练完成后，可以利用该网络对样本区域内的其他输入量求解其输出值，这种求值的方法称为神经网络的泛化或仿真。可以理解为利用神经网络进行数据拟合，对新的输入数据调用sim()函数进行泛化，得出这些输入点处的输出矩阵，且

二、径向基网络结构与应用

径向基网络是一类特殊的神经网络结构。隐层的传输函数为径向基函数，输出的传输函数为线性函数，则此结构的网络称为径向基网络。径向基函数是一类特殊的指数函数，数学描述为

其中，c为聚类中心点，b>0为调节聚类效果的参数。

径向基网络的使用：newrbe()和sim()实现神经网络的建立、训练和泛化全过程。

三、例题详解

3.1例10-29

用神经网络对二元函数

进行曲面拟合。

求解思路：先考虑用下面的语句输入样本数据，选择3隐层网络，第1,2层有10个节点，采用Sigmoid函数作为输出函数，这样就可以用下面的语句度该网络进行训练，并得出如图所示的泛化结果。程序如下：

[x,y]=meshgrid(-3:.6:3,-2:.4:2);

x=x(:)';y=y(:)';

z=(x.^2-2*x).*exp(-x.^2-y.^2-x.*y); %注意这三个变量都是行向量

net=newff([-3 3;-2 2],[ 10,10,1],{'tansig','tansig','tansig'});

net.trainParam.epochs=1000;

net.trainFcn='trainlm';

[net,b]=train(net,[x;y],z); %训练神经网络

[x2,y2]=meshgrid(-3:.1:3,-2:.1:2);

x1=x2(:)';y1=y2(:)';

figure;z1=sim(net,[x1;y1]);

z2=reshape(z1,size(x2));

surf(x2,y2,z2)

得到第2隐层有10节点的拟合图：

泛化结果不是很理想，部分点处有较大的波动，现在设定第2层选择20个节点，则可以得处如图所示的泛化结果，可见泛化结果恶化，说明节点数选择过多。从总体拟合效果来看，因为样点不充足，不足以用神经网络得出较好的拟合结果，所以神经网络直接拟合结果较差。程序如下：

net=newff([-3 3;-2 2],[10,20,1],{'tansig','tansig','tansig'});

[net,b]=train(net,[x;y],z); %训练神经网络

z1=sim(net,[x1;y1]);

z2=reshape(z1,size(x2));

surf(x2,y2,z2)

得到第2隐层有20个节点拟合图：

从总体拟合效果看，样本点不充足，现在给出密集一点的样本点，则可以用下面的命令

[x,y]=meshgrid(-3:.6:3,-2:.4:2);

x=x(:)';y=y(:)';

z=(x.^2-2*x).*exp(-x.^2-y.^2-x.*y); %注意这三个变量都是行向量

net=newff([-3 3;-2 2],[10,10,1],{'tansig','tansig','tansig'});

net.trainParam.epochs=100;

net.trainFcn='trainlm';

[net,b]=train(net,[x;y],z);

[x1,y1]=meshgrid(-3:.1:3,-2:.1:2);

a=x1;x1=x2(:)';y1=y2(:)';

figure;z1=sim(net,[x1;y1]);

z2=reshape(z1,size(a));surf(x2,y2,z2);

net=newff([-3 3;-2 2],[10,20,1],{'tansig','tansig','tansig'});

[net,b]=train(net,[x;y],z);%修改节点个数后的泛化结果

figure;z1=sim(net,[x1;y1]);

z2=reshape(z1,size(a));

surf(x2,y2,z2)

分别得出当地2层节点个数为10和20时，二元曲面的拟合效果，如图下所示。可见拟合效果比前面的结果好，但远没有第8章中减少的样条插值的效果。

word/media/image23_1.png

word/media/image24_1.png

对这个例子来说，在当前测试的组合下效果远远差于样条插值算法。用前馈神经网络拟合时，无论采用哪种训练方法，选择哪种网络和节点组合，得出的误

差曲线基本均如图所示

word/media/image25_1.png

当误差准则等于0.0021时不在减少，所以不能得出令人满意的拟合效果。在神经网络研究中，经常有人引用这样的结论结果，即三层BP网络可以按任意精度逼近给定函数。不过从这样普通的例子看，即使选定500个隐层节点，试用了神经网络工具箱中提供的群补训练算法，也无法得出小于10^-3的误差，故而此例子作者没有得出任意精度的可行的神经网络。

3.2例10-22

用径向基网络对二元函数

进行曲面拟合。

利用已知工具箱函数进行径向基网络的曲面拟合，程序如下：

[x,y]=meshgrid(-3:.6:3,-2:.4:2);x=x(:)';y=y(:)';

z=(x.^2-2*x).*exp(-x.^2-y.^2-x.*y);%注意这三个变量均应为行向量

net=newrbe([x;y],z);

[x2,y2]=meshgrid(-3:.1:3,-2:,.1:2);x1=x2(:)';y1=y2(:)';

z1=sim(net,[x1;y1]);z2=reshape(z1,size(x2));surf(x2,y2,z2)

得出的拟合效果如图：

word/media/image26_1.png

可见，这样得出的拟合效果远远优于BP网络，虽然略差于二维样条插值效果。径向基函数网络自动选择的隐层节点个数的为121。