1. 正则化网络

2.给定一个感知器网络f(x)=i=0nwiφi(wiTx) f(\mathbf x)=\sum _{i=0}^n w_i \varphi _i(\mathbf w_i ^\mathrm{T}\mathbf x),其中φi()\varphi_i(\cdot)为Logistic 型激活函数。 和一个广义正则化网络fλ(x)=i=1nwiG(x,xi)f_\lambda(x)=\sum _{i=1}^n w_iG(\mathbf x,\mathbf x_i),其中G(x,xi)G(\mathbf x,\mathbf x_i)为以数据点xi\mathbf x_i为中心的径向基函数。请: (1) 画出该感知器网络和广义正则化网络的结构图; (2) 分析两个模型在不同方面的异同; (3) 尝试估计正则化网络的VC维。

(1)

输入信号:xiRm,i=1,2,,N\mathbf x_i \in \mathbb R^m, i=1,2,\ldots ,N 预期输出:diR,i=1,2,,Nd_i \in \mathbb R ,i=1,2,\ldots ,N

感知器网络:

image_1akks50c01qel9hmrs8rb1192sp.png-205kB

广义正则化网络:

image_1akkrfrb7ksfa9b12bn19jk1agm1j.png-212kB

  • 输入层:共mm个结点,mm为输入向量x\mathbf x的维数。
  • 隐藏层:共NN个结点,每一个数据点xi\mathbf x_ii=1,2,,Ni=1,2,\ldots ,N都对应一个隐藏层结点,NN为样本数量。第ii个结点的输出为G(x,xi)G(\mathbf x,\mathbf x_i)
  • 输出层:和隐藏层全连接的单个线性单元。

(2)

  • 拟合能力:正则化网络只要有足够多的隐藏单元,可以以任意精度逼近定义在Rm\mathbb R^m的compact subset上的任意多元连续函数。

(3)

正则化网络中的参数个数为(m+1)N(m+1)N,因此估计其VC维为(m+1)N(m+1)N

results matching ""

    No results matching ""