《Python神经网络》2——神经元

虽然计算机拥有相对大量的电子计算元件、巨大的存储空间，并且这些计算机的运行频率比肉蓬蓬、软绵绵的生物大脑要快得多，但是即使是像鸽子一样小的大脑，其能力也远远大于这些电子计算机。

传统的计算机按照严格的串行顺序，相当准确具体地处理数据。对于这些冰冷坚硬的计算机而言，不存在模糊性和不确定性。而另一方面，动物的大脑表面上看起来以慢得多的节奏运芹答行，却似乎以并行方式处理信号，模糊性是其计算的一种特征。

虽然神经元有各种形式，但是所有的神经斗吵元都是将电信号从一端传输到另一端，沿着轴突，将电信号从树突传到树突。然后，这些信号从 一个神经元传递到另一个神经元。

我们需要多少神经元才能执行相对复杂的有趣任务呢？

一般来说，能力非常强的人类大脑有大约1000亿个神经元！一只果蝇有约10万个神经元，能够飞翔、觅食、躲避危险、寻找食物以及执行许多相当复杂的任务。  10万个神经元，这个数字恰好落在了现代计算机试图复制的范围内。    一只线虫仅仅具有302个神经元，空首侍与今天的数字计算资源相比，简直就是微乎其微！但是一直线虫能够完成一些相当有用的任务，而这些任务对于尺寸大得多的传统计算机程序而言却难以完成。

激活函数：

阶跃函数，S函数。

newff 创建前向BP网络格式：

net = newff(PR,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF)

其中：PR —— R维输入元粗闹乱素的R×2阶岩档最大最小值矩阵； Si —— 第i层神经元的个数，共N1层； TFi——第i层的转移函数，默认‘tansig’； BTF—— BP网络的训练函数，默认‘trainlm’ BLF—— BP权值/偏差学习函数，默认弯汪’learngdm’ PF ——性能函数，默认‘mse’；（误差）

e.g.

P = [0 1 2 3 4 5 6 7 8 9 10]T = [0 1 2 3 4 3 2 1 2 3 4]

net = newff([0 10],[5 1],{'tansig' 'purelin'})net.trainparam.show=50 %每次循环50次net.trainParam.epochs = 500 %最大循环500次

net.trainparam.goal=0.01 %期望目标误差最小值

net = train(net,P,T) %对网络进行反复训练

Y = sim(net,P)Figure % 打开另外一个图形窗口

plot(P,T,P,Y,'o')

1. 人工神经元( Artificial Neuron )模型

人工神经元是神经网络的基本元素，其原理可以用下图表示：

图中x1~xn是从其他大顷拦神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈滚胡值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：

图中 yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的乎判式子可以简化为：

若用X表示输入向量，用W表示权重向量，即：

X = [ x0 , x1 , x2 , ....... , xn ]

则神经元的输出可以表示为向量相乘的形式：

若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。

图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。

---