1. 正则化网络

2.给定一个感知器网络,其中为Logistic 型激活函数。 和一个广义正则化网络,其中为以数据点为中心的径向基函数。请: (1) 画出该感知器网络和广义正则化网络的结构图; (2) 分析两个模型在不同方面的异同; (3) 尝试估计正则化网络的VC维。

(1)

输入信号: 预期输出:

感知器网络:

image_1akks50c01qel9hmrs8rb1192sp.png-205kB

广义正则化网络:

image_1akkrfrb7ksfa9b12bn19jk1agm1j.png-212kB

  • 输入层:共个结点,为输入向量的维数。
  • 隐藏层:共个结点,每一个数据点都对应一个隐藏层结点,为样本数量。第个结点的输出为
  • 输出层:和隐藏层全连接的单个线性单元。

(2)

  • 拟合能力:正则化网络只要有足够多的隐藏单元,可以以任意精度逼近定义在的compact subset上的任意多元连续函数。

(3)

正则化网络中的参数个数为,因此估计其VC维为

results matching ""

    No results matching ""