高斯型单连接网络分布估计算法的全局优化 中文

《高斯型单连接网络分布估计算法的全局优化 中文》由会员分享，可在线阅读，更多相关《高斯型单连接网络分布估计算法的全局优化 中文（13页珍藏版）》请在装配图网上搜索。

1、重庆大学本科生毕业设计（论文）附件 附件C：译文附件C：译文高斯型单连接网络分布估计算法的全局优化Ignacio Segovia Domnguez, 阿图罗埃尔南德斯阿吉雷 Enrique Villa Diharce墨西哥瓜纳华托数学研究中心摘要：本文介绍了一个新的构造方法：高斯单连接网络分布估计算法，以及它在连续变量下的分布估计算法及其应用。假设变量为高斯，树型拓扑和边缘定位算法的建设是基于信息论概念，如互信息和条件互信息等来构造的。高斯型单连接网络分布估计算法被提议用标准问题进行测试，实验结果表明，该方法是比较准确的。关键词：单连接网络，分布估计算法，最优化。1. 介绍在人工智能中，单连接

2、网络间接寻址图形模型被广泛应用，例如，在贝叶斯网络中，单连接网络是实际的曲线图，因为他们支持线性时间的概率推理。单连接网络在其他一些类似的方向的应用, 那就是, 单连接网络是经常被用来联合概率分布模型的一些数据。因为树编码作为产品的条件分布的联合概率，这样的概率分布模型也称为工厂化的分布。在本文中，我们关心的是单连接网络使用和其结构和它的仿真算法。此外，我们评估，单连接网络带来的分布估计算法的性能改善。如前所述，单连接网络图已被J.明珠贝叶斯网络应用，但德坎波也过度的研究了因果网络。最近，索托应用单连接网络近似分布算法研究单连接网络模型在分布估计算法的分布与单连接网络近似分布算法，被称为单连接

3、网络近似分布算法。但是，请注意，在所有提到的方法变量是二进制的。本文的目标是引入连续变量单连接网络，也就是说，单连接网络在连续域高斯变量及其应用中使分布估计算法最优化。所提出的方法被称为高斯单连接网络分布估计算法。具有连续变量的单连接网络已由欧尔顿研究。在本文中，我们延长提出的海报，我们进一步发展欧尔顿的工作。我们引入两个新的算法功能到高斯单连接网络：1）基于有条件的互信息一个新的方向的方法，我们也证明我们的做法是正确的；2）模型的过拟合通过比较条件和边际互信息优势，界限值的确定也可以解释。本文组织如下：第2节介绍了两个离散变量的单连接网络算法; 第3节介绍了如何建立一个高斯单连接网络；而第4

4、条规定的实施细则；第5章介绍了两组实验，并提供了与其他相关方法的比较；第6条规定了未来研究的结论和方向。2. 相关工作当边缘是无向时，一个单连接网络是一个有向无环图（任意两个节点之间只有一条路径）。在分布估计算法中，单连接网络分布估计算法是第一个提出用单连接网络为二进制变量工作的。构建单连接网络近似分布算法的公式（边缘）是使用互信息和条件互信息作为衡量标准。因此，当条件互信息大于边缘交互信息，节点Xk是头节点。因此，头节点的头意味着，当第三个节点Xk被列入时，两个节点Xi，Xj共享的信息增大，为过拟合控制两个参数1，2的目标，以过滤掉（弱）的依赖。然而，有关如何设置这些参数在单连接网络近似分布

5、算法文学中没有建议。高斯型单连接网络是把一个多元的正太分布分解成一些基本的运算表示，连合概率密度函数等于高斯型条件概率乘以根节点概率，公式如：最近的一项利用深度优先搜索算法的边缘定位方法。基于以前工作在欧尔顿的Rebane和珍珠。假设，周与刘算法可以不依赖树型拓扑提供数据。然后，他们通过在一定深度的依赖树沿着边缘方向优先搜索。必须首先检测的衔接点和因果盆地。他们用自己的方式尝试解决四个方面的问题，例如如何遍历树，已经走过的边缘做什么（没有完全解决由Rebane和珍珠）。对于边缘方向，如果Z有X和Y为根节点，他们的算法执行对X和Y节点Z边缘的独立测试以决定。如果他们是独立的节点，那节点Z是一个头

6、节点。3. 高斯型单连接网络的构建我们在下面描述构建一个高斯单连接网络所需的主要步骤。3.1 高斯周与刘树：构建一个高斯单连接网络的第一步是构建高斯周刘依赖树（我们使用的二进制依赖树周与文献相同的方法）。周刘算法中互信息是判断依赖性的根据。该算法随机选择一个节点，并宣布它的根。然后用于创建一个最大重量生成树Kruskal算法。由此产生的树总互信息最大化，它是最佳逼近时，像分解树分布数据的真实分布。在高斯周与刘树的离散变量的情况下，用类似的方式创建。互信息也是最大似然估计，二阶分布高斯周柳树是最佳逼近的产品工厂化每当一个多元正态分布。对于普通变量，互信息定义为：对于高斯变量，培生相关系数Rxy被

7、定义为：3.2 边缘方向：确定树边缘的方向的步骤是基于根的位置：如果是三个一组的X Z Y，其中独立的变量X、Y是作为根，那么Z是头节点，即：X Z Y。类似的，如果在三重XZ Y的变量X和Y是独立的，节点X、Y作为根节点，那Z是头节点，X Z Y ；否则，Z是Y的根节点：X Z Y。在本文中，我们提出信息论措施，有条件的互信息（CMI）和（边际）互信息（MI）来估计变量之间的依赖。基于信息措施的提出方向：任意的三重态X Z Y，如果，那么Z是根节点X、Y的头节点，如：X Z Y。证明。我们将证明，基于互信息的建议措施，找到正确的方向。也就是说，（三个变量的四种可能的模型如图1所示），M4的模

8、型，头对头，对于是正确的。在图1所示的因果模型中可表示其记录的可能性。如果任何节点Xi的根节点是节点pa（Xi），负对数似然的模型M是：是Xi给定的根节点pa（Xi）的条件熵。很容易理解高斯模型M1、M2、M3是等价的。图一：用三个变量可以X、Y、Z，可以得到因果模型。（a）模型M1，（b）模型M2，（c）模型M3，（d）模型M4。或者概率没有什么区别，那负对数似然方程分别为4、5、6：对于模型M4，负对数似然方程为7：最好的模式是一个最小的负对数似然或最小条件熵的总和。模型M4负对数似然比模型M1或M2或M3的负对数似然小是什么时候？答案是方程8。当条件互信息的是大于模型M4的的较小的负对数

9、似然值，因此，M4是“最好的”。在这项工作中，边缘方向的原则运行的深度优先搜索算法。其原理是应用以下方式对每一个根节点：假设节点A有B、C、D三个可能的根节点，那就有三种可能BAC, BAD 和CAD。只要一对与拟议的导向原则一致，边缘就以头节点为方向。当测试了的一个三重态中，其中有一个边缘已经有了方向，那么新的测试中不改变其方向。高斯变量的条件互信息的公式计算是：3.3 过拟合控制不等式可以校正因为数据的小偏差和生成的假根节点造成的误差。作为一项规则，根节点被允许的最大数量是最大的过拟合。对于单连接网络，多根节点是好的，但是它们都必须经过仔细的选择。非参数对数据向量X，Y和Z引导测试，可以进

10、行假设检验来解决过拟合的问题。在这种方法中我们用到的统计量：，有效等级为5%，零假设，对立假设。然而，这种方法是计算成本。一个更好的方法将基于界限值，但它的价值呢？因此问题是：作为代表真正的根节点，有条件互信息必须大于边界互信息多少次？一个好的界限值是多少？凭经验，我们通过随机创建庞大的数据库的三重向量的X，Y和Z（从随机高斯分布）来解决这个问题，确保不等式：。在这个大集有两个子集：满足是零假设或不是的三重态。在时，我们找出在95%情况下的假的根节点。因此界限值是3,。每当时产生头节点。4.高斯型单连接网络分布估计算法的几方面在上一节中，我们解释了构建高斯单连接网络的公式。分布估计算法被引用在

11、该模型中。提到了高斯型单连接网络分布估计算法中的两个重要方面。4.1数据模拟程序从有如下共同有条件的高斯变量的抽样策略的单连接网络获得一个新样本，如果变量Xi符合条件在中，它们的有条件分布为：，可以模拟使用条件均值：和有条件的协方差：在时间t的样本模拟如下高斯单连接网络的结构，如果Xti没有根节，那么；另一方面，符合条件Y=yt-i，那么Xti服从高斯分布。这种方法增加了高斯单连接网络分布估计算法的勘探。请注意共同的原始抽样是不同的。4.2选择在分布估计算法中常用截断选择。我们的做法有所不同。我们选择的K最好优于整体中的平均水平。包含一个整体中的所有成员，平均水平会降低。然后用选择的不同的成员

12、（多样性）来组成新的单连接网络。5.实验在两种标准检查程序中检测高斯型单连接网络分布估计算法。5.1 实验1：凸函数这一套9凸函数解决机制适应使用IDEA算法，避免过早收敛和提高收敛速度7，2。这种功能在表3中列出。在原理中增加或减少相应的方差，对应的改进该功能。在该机制计算，平均在整体中的最佳个体的方向转变。因为过早的IDEA算法的收敛，这些机制是必要的。请注意，高斯单连接网络分布估计算法并不需要任何额外的机制，以收敛到最佳。为每一个问题运行30次。初始化：对所有的变量进行不对称的初始化：Xi 10, 5.样本大小：L尺寸的问题，总体是2(10(l0.7)+10)停止条件：达到最大数量的健身

13、功能评价：1.5105；或目标误差小110-10；或在检测后30代和的改善没有大于110-13，意味着标准偏差的平均值，为每一个尺寸，小于110-13。图2显示了需要达到的目标尺寸2，4，8，10，20，40和80错误的最好评估。在表1和表2中详细列出了在我们的实验中发现的成功率与问题的评估。实验1的评论：既然评估数量增加与问题维数的增加成比例，高斯型单连接网络分布估计算法在全局收敛的成功率很高，甚至在80维。除了这些功能，仅仅是不同的幂函数（略微移动两轴）就难以解决。5.2.实验2：非凸函数在这个实验中，我们使用四个功能，拉腊因纳迦和洛萨诺测试不同的算法，包括高斯网络算法的估计。表1：功能的

14、成功率（）VS问题维：表2：高斯单连接网络分布估计算法进行评估的数量需要达到目标误差在30次（见停止条件）表3：设置实验1的凸函数高斯网络算法的估计是令人关注的，因为它是建如贝叶斯信息标准的得分指标连续变量的图形。从图形结构，使没有或更多的根节点给任何节点的精度矩阵创建。因此，高斯单连接网络和高斯网络算法的估计允许多个根节点。实验设置如下：样本大小：L尺寸的问题，总体是2(10(l0.7)+10)停止条件：适当的功能评估的最大数量为：3105；或重复30次后的目标误差小于110-6；当检测到重复30次后没有改善大于110.13也停止；意味着平均l的标准偏差，每个维度之一，是小于110.13。表

15、4所示的测试功能：实验进行时的尺寸是10和50。如图5所示为球函数的比较，表6的为罗森布罗克函数，表7为 Griewangk，表8为阿克里功能。表4：设置实验2的测试功能表5：比较球函数在10和50尺寸（最佳适值= 0）表6：比较了罗森布罗克函数在10和50尺寸（最佳适值= 0）表7：比较了Griewangk功能在10和50尺寸（最佳适值= 0）表8。比较了在10和50尺寸（最佳适值= 0）时的阿克里功能实验2的评论：在所有的函数功能评估中，高斯单连接网络分布估计算法达到比高斯网络算法估计更好的价值，需要数量较少，（除ROSENBROCK均显示了类似的性能）。6.总结在本文中，我们描述了一个新

16、的基于高斯单连接网络的分布估计算法。在一个单连接网络适中的计算成本，可以建立丰富的造型结构。同一时间发现在高斯单连接网络的测试功能中有一个良好的性能。其他算法在凸函数上有收敛性问题，需要特殊适应，高斯单连接网络则不需要。因为以它的父节点和子节点的协方差矩阵为基础的新的抽样方法有利于种群的多样性。也建议将选择战略应用于个体降低选择压力，因此提高了多样性和拖延收敛。参考文献：1. Acid, S., de Campos, L.M.由单连接网络实证研究的因果网络的逼近。在Bouchon-穆尼耶，由B., Yager, R.R., Zadeh, L.A.（合编）IPMU，1994年。 LNCS，第一卷

17、。 945，149-158页。斯普林格，海德堡（1995）2. 博斯曼，潘，Grahl，J.，Thierens，D：使用预期均值漂移提高高斯分布估计算法极大似然估计的性能。时间：2008年的 BNAIC比利时与荷兰的人工智能会议，第285286.BNVKI（2008）3. 周，C.K，刘，C.N：依赖树的离散概率分布逼近。IEEE交易信息理论IT-14（3），462-467（1968）4. Darwiche, A.:贝叶斯网络的建模和推理。剑桥大学出版社（2009）5. 达斯古普塔，S.：学习单连接网络。在第十五届人工智能不确定性年会（UAI1999年），134-141页。摩根考夫曼，旧金山（

18、1999）6. 爱德华兹，D.：图形建模。斯普林格，柏林（1995年）7. Grahl, P.A.B.J., Rothlauf, F.:相关触发的自适应变异尺度的想法。在：第八届遗传与进化计算年会，GECCO 2006年，第397-404页。 ACM（2006）8. Lauritzen, S.L.:图形模式。Clarendon出版社（1996）9. Ouerd, B.J.O.M., Matwin, S.:正式使用建设因果单连接网络结构数据分布方法。信息科学，国际日报168，111-132页（2004）10. 那不勒斯，R.E.：学习贝叶斯网络。普伦蒂斯霍尔系列人工智能（2004）奥尔蒂斯，MS

19、.：Un estudio sobre los Algoritmos Evolutivos con Estimacion de Distribuciones11. basados en poliarboles y su costo de evaluacion. Matematica y Fisica研究所的Cibernetica，博士论文，哈瓦那，古巴（2003年）12. ouerd，M.：学习确信网络及其分布式数据库应用。博士论文，渥太华大学，渥太华，安大略省，加拿大（2000年）13. 珍珠，J.：在智能系统的概率推理：网络的合情推理。摩根考夫曼出版公司，旧金山（1988年）14. de Campos, L.M., Moteos, J., Molina, R.:使用贝叶斯算法学习因果关系网络的分类问题。在第四届国际会议基于知识系统的不确定性的信息处理和管理（IPMU），395-398页（1993）15. rebane，G.，珍珠，J.：从统计数据中恢复因果聚树。在华盛顿州西雅图的第三次人工智能的不确定研讨会，第222-228页（1987）16. 塞戈维亚-多明戈斯伊格纳西奥，H.-A.A.,恩里克，V.-D.：高斯单连接网络分布估计算法全局优化。在第13届伴侣遗传与进化计算的会议，GECCO2011年，第69-70页。 ACM，纽约（2011）13C