1. 正则化网络
2.给定一个感知器网络f(x)=i=0∑nwiφi(wiTx),其中φi(⋅)为Logistic 型激活函数。
和一个广义正则化网络fλ(x)=∑i=1nwiG(x,xi),其中G(x,xi)为以数据点xi为中心的径向基函数。请:
(1) 画出该感知器网络和广义正则化网络的结构图;
(2) 分析两个模型在不同方面的异同;
(3) 尝试估计正则化网络的VC维。
(1)
输入信号:xi∈Rm,i=1,2,…,N
预期输出:di∈R,i=1,2,…,N
感知器网络:

广义正则化网络:

- 输入层:共m个结点,m为输入向量x的维数。
- 隐藏层:共N个结点,每一个数据点xi,i=1,2,…,N都对应一个隐藏层结点,N为样本数量。第i个结点的输出为G(x,xi)。
- 输出层:和隐藏层全连接的单个线性单元。
(2)
- 拟合能力:正则化网络只要有足够多的隐藏单元,可以以任意精度逼近定义在Rm的compact subset上的任意多元连续函数。
(3)
正则化网络中的参数个数为(m+1)N,因此估计其VC维为(m+1)N。