塑料表面电晕处理机
新浪微博@学生You
1、自组织映射神经网络是基于竞争学习。每一时刻只有一个输出神经元,或者每组只有一
个输出神经元被激活。该神经元称为获胜神经元,在输出神经元中导出胜者全得的竞争方法是在它们之间使用侧抑制连接(即负反馈路径)。在竞争学习过程中,神经元变化依不同输入模式或者输入模式的类别而选择性地调整。这样调整后神经元(即获胜神经元)的位置彼此之间成为有序的,使得不同的输入特征,在网格上建立起有意义的坐标系,因此自组织映射由输入模式的拓扑映射结构所表征,其中网格神经元的空间位置(即坐标)表示输入模式包含的内在统计特征。 2、自组织映射本质上是非线性的。
3、神经元将输入信号转变成空间位置编码的概率分布,分布通过映射中最大相关激活的位
置表示参数的计算值,在拓扑映射中输出神经元的空间位置对应于特殊的定义域或从输入空间抽取数据的特征。
二代身份证识别系统
4、Kohonen模型属于向量——编码算法的类型,模型提供了一个拓扑映射,它最优地设置固定数目的向量(即编码字)到高维输入空间,因此有利于数据压缩。 电梯箱
5、自组织映射的主要目的是将任意维数的输入信号模式转变为一维或二维的离散映射,并且以拓扑有序的方式自适应实现这个变换。
6、SOM算法中,竞争过程:输入模型向量X,神经元j的突触权值Wj,通过选择具有最大内积W j‘X的神经元,可以决定兴奋神经元的拓扑邻域中心的位置。基于内积W j’X最大化的最优匹配准则,在数学上等价于向量X和Wj的欧几里得距离的最小化。
7、合作过程:侧抑制。拓扑邻域hj,i关于di,j=0定义的最大点是对称的,在距离dj,i为零的获胜神经元i处达到最大值。拓扑邻域hj,i的幅度值随侧向距离di,j的增加而单调递减。满足这些的hj,i的函数:高斯函数是一个不错的选择。具体详见《神经网络与机器学习》page.272.
8、自适应过程:要求神经元j的突触权值向量Wj随输入向量X改变。在Hebb学习假设中,突触权值随着前突触和后突触的激活同时发生而增加,此方法适合联想学习(例如:主成分分析)。不过对于无监督学习,Hebb假设不适用,原因:连接的改变仅发生在一个方向上,这样最终使所有的突触权值都趋于饱和。改变这个缺陷的方式:引入一个遗忘项,该遗忘项的Taylor级数展开的常数项为零。
9、自适应过程的两个阶段:排序和收敛,学习率初始值一般为0.1,然后逐渐减少,但应保持在0.01以上,不允许为0。收敛阶段达到收敛所需要的迭代次数强烈依赖于输入空间的维数,作为一般性规则,组成收敛阶段的迭代次数至少是网络中神经元数目的500倍。
10、SOM算法的基本目标是通过寻原型Wj属于KA的一个较小的集合存储输入向量X属
于TA的一个大集合,从而对原始输入空间TA提供一个好的近似。该思想植根于向量量化理论,动机是维数的削减或者数据的压缩。
11、广义Lloyd算法(Gersho and Gray,1992)
便当袋12、关于拓扑排序:通过SOM算法计算的特征映射∅是拓扑有序的,意味着网格中神经元的空间位置对应于输入模式的特定区域或特征。拓扑有序的特性是更新权值更新公式的直接结果,使获胜神经元i(X)的权值向量Wi移向输入向量X。同样对于获胜神经元邻域的神经元j 的突触权值向量wj移动有作用。该算法总的目标可以描述如下:指针或原型以突触权值向量Wj的形式逼近输入空间TA,使得特征映射∅以这样一种方式提供根据某个统计准则而言表征输入向量X属于TA的重要特征的可信赖表示。
13、密度匹配:特征映射∅反映输入分布在统计上的变化,在输入空间TA中样本向量x以高的概率抽取的区域映射到输出空间的更大区域,从而比在TA中样本向量X以低的概率抽取的区域有更好的分辨率。
生产企业原材料的订购与运输>智能浴缸14、特征选择:从输入空间中给定数据,自组织映射能够为逼近固有分布选择一组最好的特征。主分量分析告诉我们线性分布的最好描述是定义成通过远点且平行于数据相关矩阵的最大特征值对应的特征向量平行的直线。非线性分布说明逼近仅仅当网格的维数和分布的固有维数匹配时工作良好。
15、通过向量编码而不是标量编码,总是能够取得好的数据压缩性能,即使数据源是无记忆的(仅提供一系列独立随机变量)或者数据压缩系统有记忆(即编码器的动作依赖于编码器以前的输入或输出)。
16、自组织映射算法对于探测大量高维数据时很强大的工具,但是有明显缺陷。1、由算法提供的输入空间概率密度函数的估计缺少精度。2、算法的构成中不存在可以用于最优化的目标函数。Van Hulle(2012b)提出基于核的自组织映射形式,可以改善拓扑映射。在核自组织映射中,网格结构的每一个神经元作为一个核,这样使得核参数根据预定义的目标函数各自调整,而目标函数迭代性地最大化以便形成满意的拓扑映射。对于高斯分布输入向量X,相应的欧几里得距离X-Wi的累计分布函数使不完全gamma分布。核SOM是在线的基于随机梯度的算法。
17、利用SOM算法研究自然语言单词的语义规则,这里规则是在它们发生的上下文关系中反映的。
18、核SOM算法小结:
1、初始化权值向量和核宽,限制:对不同的神经元Wi(0)和σi(0)不同。
2、取样,在输入分布中按一定的概率取出一个样本X
3、相似性匹配,选出获胜神经元
4、自适应,调整权值向量和每个核的宽。
直到特征映射不发生明显变化。