种无监督学习定律主要讲前两种课件

2022-12-30种无监督学习定律(主要讲前两种)1四种无监督学习定律（主要讲前两种）信号的Heb学习竞争学习微分Heb学习微分竞争学习2022-12-30种无监督学习定律(主要讲前两种)21、信号的Heb学习通过求解Heb学习法则的公式 (132)可获得如下积分方程 (133)ijijiijjmmtSx tSyt 00tts tijijijmtmeSs Ss eds2022-12-30种无监督学习定律(主要讲前两种)31、信号的Heb学习近期的影响与遗忘渐进相关编码Heb相关解码2022-12-30种无监督学习定律(主要讲前两种)4近期的影响与遗忘Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为 。上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。在式（132）中的遗忘项 产生了（133）中对先前知识 的指数权 。ij-mijm 0ijmte2022-12-30种无监督学习定律(主要讲前两种)5近期的影响与遗忘实际上遗忘定律提供的最简单的局部非监督学习定律为：（134）说明了两个关键特征：1 仅依赖于局部信息，即现在的突触强度 。2 呈指数律达到平衡，可实时操作。ijijmm ijmt2022-12-30种无监督学习定律(主要讲前两种)6渐进相关编码 突触矩阵M可用双极相关矩阵 表示 (135)X和Y：双极信号 和 。，=1，-1 两种极端情况：1、2、实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。TKKX YTKKMX Y S x S yisjs1ijS S 11ijijS Smtt W 101tijijm tme 1ijm tt2022-12-30种无监督学习定律(主要讲前两种)7渐进相关编码 （142）X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。1mTTkkkkXW YwXY2022-12-30种无监督学习定律(主要讲前两种)8Heb相关解码 考虑m个二极矢量联想对 的二极相关编码。表示n维二极空间 中的一个点，表示p维二极空间 中的一个点。二极联想对 对应于二值矢量联对 。这里 表示n维布尔空间 中的一个点，代表p维空间 中的一个点。,iiX YiX1,1niY1,1p,iiX Y,iiA BiA0,1niB0,1p2022-12-30种无监督学习定律(主要讲前两种)9Heb相关解码 可以看出，把1换成0，就会变成 。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案：（143）可用Heb突触矩阵M对 和 神经元信号进行双向处理。可把神经元信号前向通过M，后向通过 。这里仅考察前向的情况。二极矢量 提供给神经元系统。有若干 ，越接近 ，解码精度越高。1mTiiiMXY,iiXY,iiA BXFYFTMiXiXXX2022-12-30种无监督学习定律(主要讲前两种)10Heb相关解码 矢量 通过滤波器M时，同步阈值产生输出双极矢量Y，Y与Yi接近到什么程度？我们可对信噪分解 （144）（145）（146）mTTiiiiijjj iX MX XYX XYmTiijjj inYX XYijjjc YiX2022-12-30种无监督学习定律(主要讲前两种)11Heb相关解码 其中 ，这里 为信号矢量而 为噪声矢量。为校正系数，使每个 尽可能从符号上接近于 。把 或其它靠近的矢量Y通过 ，校正性质依然成立。用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连续的假设。TTijijjijicX XX XciYjYijcijjc YjYiYTM2022-12-30种无监督学习定律(主要讲前两种)12Heb相关解码 假定异联想样本 从连续函数f上取样，那么输入的微小变化必然引起输出的微小变化。相同的比特数-不同的比特数 （154）H表示汉明距离：,iiX YTijijcX X,ijijnH A AH AA2ijnH AAnkkijijkH AAaa2022-12-30种无监督学习定律(主要讲前两种)13Heb相关解码 若两个二值矢量 和 靠近，相同的比特数大于不同的比特数，那么 。极端情况下 ，。时，校正系数将度量上含糊不清的矢量丢弃掉，不参与求和。与 相差较远，。极端情况下 则 ，。iAjA0ijcjiYYijcn,/2ijH A An0ijciAjA0ijcijcn ijjjic YnYnY2022-12-30种无监督学习定律(主要讲前两种)14Heb相关解码Heb编码步骤：1 把二值矢量 变为双极矢量 ；2 对邻接的相关编码的联想求和 若时间联想记忆（TAM）假设成立：则对同步的TAM输入 ，把激励同步阈值化为信号，就产生了 ：iAiX111mTTmijiTX XX X11,ijijH A AH AA1iX111iiijjij iX TnXc XXXiX2022-12-30种无监督学习定律(主要讲前两种)15Heb相关解码Heb编码步骤（例证）：一个三步极限环 位矢量：将位矢量转换成二极矢量1231AAAA11010A 21100A 31001A 2022-12-30种无监督学习定律(主要讲前两种)16Heb相关解码 产生TAM矩阵111 11X 21 111X 3111 1X 1223311111111 111 111 11111111 11 11111111111 1111 111 1 1111 113111111 31 31111 31TTTTX XX XX X 2022-12-30种无监督学习定律(主要讲前两种)17Heb相关解码位矢量 通过T产生：因此产生前向极限环 后向情况用位矢量 乘以 ，可得到：iAiA1222221 1 00ATA232222100 1ATA3122221010ATA1231AAAATT1321AAAA2022-12-30种无监督学习定律(主要讲前两种)182、竞争学习确定性竞争学习定律：（165）展开：这里用的是非线性遗忘项 ，而Heb学习定律用的是线性遗忘项。因此两种学习方法的区别在于它们如何遗忘而不是如何学习。ijjiijmSSmijjijijmS mS S jijS m2022-12-30种无监督学习定律(主要讲前两种)192、竞争学习两种情况下都有当第j个竞争神经元获胜时 ，突触 以指数率迅速编码信号 。与Heb突触不同的是，竞争突触当后突触神经元失败时，并不遗忘，即 。因此（165）就简化为不改变的形式 。而Heb学习则简化为（134）的形式 。Heb学习是分布式的，对每个样本模式进行编码，因此学习新模式后，会遗忘每个所学模式的部分。1jS ijmiS0ijm ijijmm 0jS 2022-12-30种无监督学习定律(主要讲前两种)202、竞争学习而竞争学习不是分布式的，只有赢得突触矢量才对样本模式 或 进行编码。如果样本模式 或 坚持足够长的学习，竞争突触就会成为“grandmother”突触，突触值很快等于模式 或 ，其它突触不会编码这种模式。S xx iSxix S xx2022-12-30种无监督学习定律(主要讲前两种)212、竞争学习竞争作为指示器竞争作为相关检测器渐进质心估计竞争协方差估计2022-12-30种无监督学习定律(主要讲前两种)22竞争作为指示器质心估计需要竞争信号 近似为局部样本模式 的指示函数 （168）这样如果样本x来自于区域 ，则第j个竞争元获胜，其它神经元失败。（169）jSjDjDIjjjDSyIxjD jTjjjDSxmfIx2022-12-30种无监督学习定律(主要讲前两种)23竞争作为指示器上式是 的神经元激励。使用的是随机线性竞争学习和简单的加模型。与 是随机行矢量，是 竞争神经元向第j个神经元发出的阻性反馈。（170）1pjkjkkkfsSyYFXjmjfYF jTjjjDSxmfIx2022-12-30种无监督学习定律(主要讲前两种)24竞争作为指示器 其中 是阻性反馈值，它等于突触加权信号的和式。式（170）中 为二值阈值化函数，因此该式可简化为：当第j个神经元获胜时 ，如果第k个神经元获胜，则 。竞争神经元激励自己（或邻近区域），同时抑制其它（或较远的区域）。jfjSjjjfsjkjfs 2022-12-30种无监督学习定律(主要讲前两种)25竞争作为相关检测器度量指示函数：（171）于是竞争学习就简化为信号相关检测。那么如何将度量竞争学习简化为相关检测？设在每个时刻的突触矢量具有相等的正的有限的范数值：22221min0minjkkjjjkkifx mx mSyifx mx m2022-12-30种无监督学习定律(主要讲前两种)26竞争作为相关检测器 （173）从（4-171）知：第j个竞争神经元获胜当且仅当：（174177）22212pmmm 22minjkkxmxmminTTjjkkkx mx mx mx m2min2TTTTTTjjjkkkkxxm mxmxxm mxm222min2TTjjkkkmxmmxm2022-12-30种无监督学习定律(主要讲前两种)27竞争作为相关检测器 利用等范数特性并进一步简化可得：（179）可看出当且仅当输入信号模式 x 与 最大相关时，第j个竞争元才竞争获胜。利用余弦定律：得到度量竞争学习的几何解释：第j个神经元当且仅当输入模式更平行于突触矢量时才获胜。m axTTjkkxmxmjmcos,TjjjXmXmx m2022-12-30种无监督学习定律(主要讲前两种)28渐进的质心估计简化的竞争学习定律：（181）突触矢量 倾向于等于区域 的质心，至少也是平均意义上的质心。具体的细节见第六章。结论：平均突触矢量可以指数规律迅速收敛到质心。应用此特性可以把训练样本只通过一次或少数的几次即可。jijDjjmIxx mnjmjD2022-12-30种无监督学习定律(主要讲前两种)29竞争协方差估计质心估计提供未知概率密度函数的一阶估计，而局部的协方差估计提供它的二阶描述。竞争学习规律扩展到渐进估计条件协方差矩阵 。（189）这里 表示 的质心。每个确定类 都有一个质心。jK TjjjjKExxxxDjxjDjD()jjjjDxxp x D dxE X X D2022-12-30种无监督学习定律(主要讲前两种)30竞争协方差估计 误差估计理论的一个重要定理：（190）其中 为Borel测度随机矢量函数。TTEyEy xyEy xEyfxyfx f x2022-12-30种无监督学习定律(主要讲前两种)31竞争协方差估计 每一步迭代中估计未知的质心 作为当前突触矢量 。这样 就成为一个误差条件协方差矩阵。对于获胜突触矢量有下列随机微分方程算法（191-192）初始化 ，如果初始化 ，则说明随机矢量元素 都是不相关的。jxjmjK 1jjkkjmkmkcxmk 1TjjkkjkjjKkKkdxm kxm kKk(0)(0)jmx(0)jKO(0)jKIix2022-12-30种无监督学习定律(主要讲前两种)32竞争协方差估计 ：自行设置的一个合适的递减学习因子如果第j个 神经元在 度量竞争中失败，则 （193）（194）1jjm km k 1jjKkKkYFkd2022-12-30种无监督学习定律(主要讲前两种)33竞争协方差估计对于（4-192）的计算算法与下面的随机差分方程相似：表示独立的高斯白噪声矩阵过程 对于一般的随机平衡条件是：更一般的：jTjDjjjjKIxmxmKNjNjjKN /TjjjjE KExmxmD2022-12-30种无监督学习定律(主要讲前两种)34自学后两种学习定律微分Heb学习微分竞争学习2022-12-30种无监督学习定律(主要讲前两种)35 Any Question?谢谢