第六章 建模与仿真的校核、验证与确认

《第六章 建模与仿真的校核、验证与确认》由会员分享，可在线阅读，更多相关《第六章 建模与仿真的校核、验证与确认（36页珍藏版）》请在装配图网上搜索。

1、第六章建模与仿真的校核、验证与确认由于仿真技术具有的优越性一一可操纵性、可重复性、灵活性、安全性、经 济性，且又不受环境条件和空域场地的限制，其应用越来越广泛，同时它本身的 准确性和置信度也愈来愈引起人们的广泛重视。建模与仿真的校核、验证与确认 (Verification, Validation and Accreditation, VVA)技术正是在这种背景下被提出 的。VVA技术的应用能提高和保证仿真置信度，降低由于仿真系统在实际应用中 的模型不准确和仿真置信度水平低所引起的风险。本章介绍VVA的基本概念和 方法以及对仿真结果的统计分析方法。6.1 VVA技术建模与仿真的正确性和置信度是仿

2、真的生命线，没有一定置信度的仿真和仿 真系统，其结果是毫无意义的，甚至可能造成错误的决策。建模与仿真的校核、 验证和确认技术的应用是保证和提高仿真置信度的有效途径。校核的目的和任务是证实模型从一种形式转换成另一种形式的过程具有足 够的精确度；验证是从预期应用的角度来确定模型表达实际系统的准确程度，其 目的和任务是根据建模和仿真的目的和目标，考察模型在其作用域内是否准确地 代表了实际系统；确认是一项相信并接受某一模型的权威性决定，它表明决策部 门已确认该模型适用于某一特定的目的。国外早在20世纪60年代开始对模型的有效性问题进行研究，并在概念和方 法性研究方面取得了许多重要成果。以美国为例：例如

3、美国国防部成功地对“爱 国者”导弹半实物仿真模型进行了确认，还有BGS (Battle Group Simulation) LDWSS (Laser Designator/Weapon System Simulation)等武器仿真系统都经过了 确认和验证；美国宇航局(NASA)对TCV (Terminal Configured Vehicle)仿真 系统进行了专门的确认；美国国防部对“星球大战”计划及其后续的“战区导弹 防御计划”中的仿真项目都拟订并实施了相应的VVA计划。另外，美国国防部 于1991年成立了 “国防建模与仿真办公室（DMSO）”负责制定国防系统仿真章 程，其中要求各军种和国

4、防机构制定相应的VVA细则。此外，美国国家标准和 技术机构（NIST）于1992年发表了一个适应性较广的VVA标准；IEEE也发表 了一个软件VVA计划的标准，已被美国国家标准局（ANSI）和联邦信息处理标 准指导委员会采用。在我国，建模与仿真的VVA技术也日益受到广大仿真工作者和管理者的重 视，比如，关于仿真算法所引起的仿真精度研究，有关采用灰关联度、谱分析等 方法对导弹、鱼雷模型进行的验证研究等。但是有关VVA的概念、理论和标准 的研究还有待进一步深入。尽管建模者花费了大量时间、资金、精力以求建立一个正确的系统模型，然 而任何一个系统的模型都不可能是绝对正确的，也就是说模型对原系统并不是完

5、 全准确的表述。正是模型与真实系统的差距使得模型和仿真的置信度受到影响。 建模与仿真过程中影响其置信度的主要因素有：（1）建模的原理和方法不正确。（2）建模过程中忽略了一些次要因素。由于对所研究的系统影响较小或和 目标不甚相关或数学推导的困难，一些因素在建模中被忽略。这些忽略在一定程 度上具有潜在的危险。比如，一个因素对系统的影响小到什么程度才能被忽略并 没有明确的答案；在建模和仿真过程中研究目标的偏离使某个曾被忽略的因素变 得不可忽略，而建模者没有意识到。（3）对模型初始数据的选取存在失误。对于某些系统来说，仿真模型的初 始状态对仿真的输出有直接影响。初始数据的偏差可能会引起仿真结果较大的“

6、扰动”。（4）随机变量的概率分布类型确定或参数选取有误。仿真模型中一般都含 有或多或少的随机变量，随机变量服从一定的概率分布，能否正确确定这些概率 分布直接影响到模型的质量。（5）在进行计算机实现、求解和试验过程中，仿真模型的置信度还会受到 诸如计算机字长、编码错误和算法等方面的影响。上述诸多因素容易使人认为模型具有“先天不足”。应该指出，这种“先天 不足”是不可避免的。正是这种“先天不足”的存在，使得对模型和仿真的校核、 验证变得十分重要。为了使仿真用户和决策者对模型、仿真系统及其仿真结果有足够的信心， VVA必须贯穿于建模和仿真的全生命周期。一般地，检验模型及其结果的置信度， 需要根据仿真

7、各阶段的不同研究目标，参考相应的系统或数据库，并要求参考的 系统或数据库在某种程度上是可信的，根据参考系统和数据库的不同，得到的置 信度水平处于不同的等级。这种情况可用Climb法来描述（图6.1）。实际貌数据库5 |_ 硬而嗯中协耳（散裾库4 J| 分系裁数据库J理论椀型利第一类模型I数据库上J 结果.概括府错激数据库】；数据隹来源图6.1仿真置信度等级（Climb法）各级数据库的基本信息内容如下：Climbl模型的确定；建模者预定的应用领域的主要假设；鉴定标准；仿 真目标；表示备份系统和确定的关键变量的系统功能图。Climb2子模型与理论模型或经过鉴定的现有模型的比较数据及比较方 法；关于

8、模型的假设；子模型的技术文件和说明文件；计算机表格；基准鉴定数 据；其鉴定结果包括纯混合计算机仿真及鉴定程序的有关信息。Climb3至少有一个主要分系统的实际数据；数据收集及其鉴定方法的描 述；整个复杂模型的简图和文件；基准鉴定程序的运行及其结果的计算机清单。Climb4利用一个主要分系统的硬件在回路中运行操作；模型与硬件结果 的比较；关于HWIL （半实物仿真）运行的假设；模型/硬件运行的验证及确认。Climb5实际系统的试验数据；对系统关键变量进行鉴定的结果。因此，模型和仿真结果的有效及其等级是相对于所研究的问题需达到的目的 以及用户需求而言的。仿真系统的置信度是建模与仿真VVA工作的最终

9、目的，它取决于建模、仿 真的过程和结果。它是仿真系统的使用者对应用仿真系统在一定环境、一定条件 下仿真试验的结果，解决所定义问题的正确性的信心程度。仿真系统的置信度评 估实际上是将仿真系统生命周期中的校核、验证、确认工作及测试与评估等工作 有效地统一到一个框架中，目的是提高仿真系统的仿真结果的正确性、精度、可 靠性、可用性等，为仿真系统全面质量管理提供有力的技术支持。置信度评估包 括五项内容：理论模型有效性确认、仿真软件校核与验证、运行有效性确认、数 据有效性确认和内部安全性验证。仿真系统的置信度评估与VVA及全面质量管 理的关系如图6.2所示。图6.2仿真系统置信度评估、VVA和全面质量管理

10、的关系建模与仿真的VVA涉及研究对象领域、软件工程和软件测试、数理统计、 数据分析、系统工程等。但其关键技术之一在于VVA工作模式的规范化，不同 领域的仿真应建立适合自己的VVA标准和规范。其中规范的重点是文档。在VVA 过程中，各种报告和文档的建立也要贯穿于整个建模与仿真过程。文档中包括建 模与仿真的指标、性能、数据要求、分析结果、存在的问题等说明。没有这些文 档，建模与仿真不易正确进行。关键技术之二是标准数据库。在VVA过程中， 数据是一个重要的因素，在建模与仿真开发和实现过程中所用的数据必须是合适 的、精确的和完整的。所有的数据必须提供正确的表达式，必须经过精确的测量 或估计。对原始数据

11、进行数据变换必须准确，并且数据相关性必须具有充分的描 述，数据尽量规范化、标准化。建模与仿真的VVA工作模式和过程如图6.3所示。下面以鱼雷制导控制仿真 系统为研究对象，VVA的各阶段的具体工作内容则如图6.4所示。（1）概念模型校核：包括对仿真研究目的描述和对仿真研究对象描述的 确认。（2）仿真大纲校核：包括对仿真系统构成方案、试验方案和研制方案的 确认。（3）数学模型校核：包括对所用正规模型的类型和建模方法的确认。由于 数学模型是对真实对象的抽象，因此，数学建模过程中须作许多假设，应对这些 假设的合理性进行确认。数学模型确认和数学建模一样，都要求深刻的理论知识 和丰富的实际经验。（4）物理

12、效应模型校核：是指对各物理效应模型表达方式的合理性及建模 方法正确性的确认。同样地，定性分析模型的正确性需要由专家小组进行，定量 的精度分析则主要分析各元部件的精度对整个物理仿真设备精度的影响。为此， 要求知道各元部件的精度，这可由理论分析或研制过程中的测试来获得。（5）数学仿真模型校核：是指对所选用的计算机性能、仿真程序逻辑、数 值算法等的正确性和精度的分析。校核程序可用软件工程中的检验方法和定性的 专家评定方法。另外，应尽量进行定量的精度分析，包括各数值算法的理论精度 分析及计算机计算精度（字长）对仿真结果的精度影响的分析等。（6）物理仿真模型验证：是指将物理仿真结果与理论结果或实航等其他

13、试 验结果进行比较，从而验证所用的物理效应模型的有效性。图6.3 VVA工作模式图6.4鱼雷制导控制仿真系统的VVA（7）数学仿真模型验证：是指将数学仿真结果与理论结果或实航等其他试 验结果进行比较，从而验证数学仿真所用的仿真模型的有效性。（8）半实物仿真系统校核：是指分析半实物仿真系统的正确性和精度。正 确性分析主要是指对各部分之间接口正确性的定性分析。而此时，可以进行较多 的定量精度分析，即分析仿真系统的各部分（包括数学仿真模型、物理效应模型 和接口）的精度对整个仿真系统精度的影响；为此，须建立各部分的精度模型（即 误差模型），然后基于误差模型和鱼雷系统模型，用数学方法进行精度分析。（9）

14、半实物仿真系统验证：是指将半实物仿真试验结果与理论分析或实航 等试验结果进行定性或定量的比较，从而验证整个仿真系统的有效性。（10）仿真确认：是指由用户或决策机构对整个建模和VVA过程进行评价， 从而判定其可接受性。确认工作主要基于仿真系统演示和有关各种文档进行。在整个仿真系统的VVA技术研究中，从建模、仿真设计和设备研究到最终 仿真试验的每一步都离不开校核、验证和确认的过程，因此，建模与仿真VVA 对提高系统仿真置信度和正确评估仿真置信度有着重要意义。6.2模型校核校核工作主要有两方面：一是分析在建模和仿真中的各种误差对仿真结果精 确性的影响；二是对仿真程序的校核。系统仿真误差源主要包括仿真

15、模型误差、仿真方法及计算机计算误差和仿真 硬件误差等。（1）仿真模型误差模型是仿真的基础，涉及到多种建模和验模方法。由于在建立系统数学模型 时会忽略掉一些次要因素和不可观察的因素，且对系统作了各种理论假设和简化 处理，从而得到的只是简化模型。仿真模型是建立在这个简化的数学模型基础上 的，所以系统仿真模型实际上是对于实际系统的二次简化模型。在这简化过程中 就不可避免地引入了各种误差。另外，被用于建模的数据受随机噪声的污染，且 数据长度有限，加之各种测试及采样误差，从而给模型带来各种计算误差。（2）仿真方法及算法误差对于鱼雷全数字仿真，主要有两种仿真方法，即面向微分方程仿真和面向框 图仿真。误差产

16、生的原因是在编制仿真程序时所采用的算法本身引起的截断误差 和舍入误差。在离散相似法中，还会由于采样保持器不可能完全无误地将连续信 号重构出来而产生误差。（3）仿真硬件误差对于全数字仿真来说，仿真硬件主要是指计算机，其所涉及的误差主要是由 于计算机字长有限而引起的舍入误差。半实物仿真系统包括仿真计算机、物理仿 真设备、研究对象实物以及各部分之间的接口装置。因此，对半实物仿真而言， 还存在时间不匹配误差、物理仿真设备和接口误差等。表6.1专家评价表指标名称得分(i-too)专家权重（A 11.理论僦据是否充分2.模型假设是否合理3.被羽简化是否合理1结构和盟辑关系是否旧确5.墙入福出变量选取是否合

17、理叫6 .模型毒敷设置是否合理炳57.随机蜜况没置是否合理叫T土数学 公式是否正勰9掺数取值是否正确10.随觇变量的分布函敝是酉il淅】1 一输入福出彩响美廉是否正痫u 一模型的ir为特征是曲令理总计12已=A 112XI对上述误差的校核主要以理论校核为主，详细分析并说明误差的来源和可能 引起的仿真结果与实际系统的差异，然后进行专家评估。组织有关专家组成评估 小组，详细说明有关仿真的目的、计划及汇报对误差的分析过程，然后由专家填 写评价表，综合评价表中的各项得分，以确定模型校核的结果。专家评价表可如 表6.1 （表内的内容根据具体的仿真项目的不同而有所不同）原则上讲，软件工程领域提出的所有软件

18、校核方法都可用于仿真程序校核， 只是各种方法的实用价值不同。表6.2给出了用于仿真程序校核的各种方法及其 分类。在工程实践中，仿真工作者普遍采用的有效的校核方法是分块测试法，从局 部到整体校核数学仿真模型的正确性，并在分块测试中提高模型的精度。例如对 鱼雷系统仿真程序其测试步骤为：（1）动力学模型校核断开自动驾驶仪及制导系统子模型，在计算机上进行鱼雷的动力学模型仿 真，输入各种时间、幅值组合的阶跃或其他典型形式的舵偏信号，记录鱼雷航行 的各种参数，根据自动控制系统的一般知识和设计师对鱼雷性能的了解，校核雷 体仿真子模型的正确性。由于此时去掉了两条重要的反馈回路一一稳定回路和制 导回路，雷体动力

19、学仿真子模型的误差将充分显露出来。（2）控制回路模型校核接上自动驾驶仪子模型构成闭环的控制回路，输入各种时间幅值组合的阶跃 或其他典型形式的指令信号，记录鱼雷航行及驾驶仪的各种参数，以校核雷体与 驾驶仪仿真子模型的正确性，并提高它们的精度。（3）制导回路模型校核最后接入制导系统子模型构成鱼雷制导闭环回路，对整个鱼雷制导的弹道仿 真模型做最后校核。表6.2仿真程序校核方法概况分类宵法名称非正规方法程序员自查/上域Checking 概念执行/Walk - thrai由 代码会审,Code 设计审/Reriew 过程审核/Audit静态分析词法分析/SynlU Amlysis 语义分析/Sffiia

20、iitk! Analysis 结构分析/Sinutu间Andysig 数据流分析/Data Flow Analg 致性 /Consistency Chocitirjg动态洌试自上而下的测试/Tifi-dgn Testing 自下而上的媚试,BotEooi up Testing 黑箱测试/B屉k g T皱福 白箱测试/Whim Uuol Testing 临界测曲所e8 Testing K/Dshiigging诟行跟踪/Executian. Tracing 运行监-f/IJjiwculautL MixuUufin 运行fS/Extmuliun PrufilinK 符号响试/Syffibotw;递归

21、测试FHeigoti Teslii荷号分析符号运fJ/SyirlMjIki ExeculiiMi路径分析Aiifllysafi原因-效果图示/Causer Effect GmphinK 分区分析/Pwlition ArLjyBis纹束分析断 S feS/AKcrtLcm Checking 归纳断B/induelLW Assertion 边界分析.，Bind(lry Aiwlyfi腌理论坯明正确性证明./PW of Correclne Lamda 储积分/Lamda GeJcuJus 谓词微:积分/Predkalw Calculus 滑词变携,Predicate： IrHndornulicKi

22、推理/Inference逐甜演绛/Logi函Deduction 归纳/Indudinii6.3模型验证对于复杂系统的模型和仿真，要想从理论上证明其正确性或得到其准确度， 是十分困难甚至是不可能的。判断模型及其仿真结果是否准确的最终办法是“通 过实践来检验”，即通过比较模型结果与实际系统的运行结果的偏差来表示模型 的准确度，即模型验证。如果实际系统的准确结果无法获得或只能部分获取，则 无法准确地得到模型的准确程度，可以用参考系统（Reference System）的数据取 代实际系统数据进行近似的验证。特殊情况下，参考系统数据也无法得到，只有 通过主观评价决定模型是否可用，称为主观有效性评价。模

23、型有效与否是相对一定的应用目的及相应的试验条件而言的。同一模型在 某一试验条件下有效，在另一试验条件下则可能是无效的。当然，评估时对模型 和实际系统/参考系统所进行的试验或所选择的运行条件应当是一致的。试验条件 的设定在很大程度上取决于应用目的。模型的精度是否满足要求也与应用目的 有关。常用的模型验证方法如表6.3所示。表6.3常用模型验证方法I:观确认场幼志美联分析法数理统计方法时-频分析法参数估计法莓敷僵设检验非卷敝翻设检验直睨有效评价法T1C不等式系数点估计t =检验符号枪验时间序列分析毕忡有效检独法法区阊估计F-检验秩和检验古遍估计内部有效性评价注灰色W联度法最小二乘估汗#检验游程检验

24、现代谱估计预测有效性嘛认法曲线时比法图玲试法回归分折段大似然估计 Bayes方法序贯橙验小波分析模型验证方法多种多样，主观确认法比较实用，是工程界比较熟悉和经常使 用的方法，其好处在于比较容易掌握和使用。但主观确认方法也存在一个严重的 缺陷，即分析结果在很大程度上受到分析人员主观意志的制约。数理统计方法在使用时有两个前提：（1）需要对仿真模型进行大量重复运行 以获得足够的数据来满足它们的应用条件，如独立同分布假设等；（2）这类方法 在应用时要求被比较的输出时间序列在整个时间域上是独立的。时间序列法先将模型输出时间序列和实际系统输出时间序列拟合成一合适 的随机模型，然后再比较两个模型。如果两个模

25、型相同，则模型得到确认。遗憾 的是，即使是同一随机模型产生的两个时间序列，在某些特性上仍会有很大的区 别，特别是当时序较短时这种现象更加明显。谱分析法通过比较仿真模型输出频谱与实际系统测试频谱的一致性来确认 仿真模型的有效性。谱分析法通过傅里叶变换将时域变换为频域，从而克服了假 设检验法和置信区间法中对时间序列独立性的限制。然而谱分析法也有一定的局 限：（1）从时域变换到频域后，模型的动态信息无法得到，这使得对模型的分析 客观上存在一定的限制；（2）谱分析法要求被分析的随机过程是一个协方差平稳 的过程，这一点实际上经常得不到满足；（3）应用谱分析法需要具备较高深的数 学知识；（4）应用谱分析法

26、需要消耗的计算机资源相当可观。在定量的模型验证方法方面，目前比较推崇的是谱分析法。它适用于对试验 结果的动态性能的验证。其原理是：计算两个随机序列在频率域中的功率谱，通 过比较功率谱的一致性来判断两个随机序列一致性的程度。设上述两个时间序列的功率谱密度为匕）和匕）。对二者作古典谱窗估 计，求谱密度函数估计值f （o ）和f （o ）。12f (o ) 尸t=-T+1o仁 V (t )e -ot IM )（6.1）,（t、，式中o 一 为延迟窗，矿（t）为自相关函数。由谱估计的渐近性质: IMvf (o).f (o)X2(1-a)，v其中v为等价自由度（6.2）M Mo (u )2 du = 2

27、T/M-8Jo不同的窗函数&值不一样。o利用f （ ）的渐近分布可以对f ）作区间估计。以X 2兰表示X 2分布的生 c2分位数，即 P(X2 X2k VV(a)k 2 77由式（6.2）可得，置信水平为1 -a的区间为（6.3）（6.4）（6.5）(a).X2 - vf ()/f ()X 2(1-a) k 2 7-1Vf ()X2(1-a)n f (3) Vf ()x2V按100(1 -a)%置信区间比较f (3)和f (3)， f (3). f (3)可由下式给出:1212f (3) f (3)f (3) f (3)12 f (3 ) f (3 ) 2 F (V, v)12 F(V, v)

28、aa122Fp（v,v）是分子、分母为v个自由度的F分布的第P次百分比点。如果置信区间上、下限包含f1（3）. f2（3） =1,则在该频率点上两个时间序列 是相等的。要使两个时间序列相等，它们的频谱必须在所有频率3 j （j = 1,2, , n） 均相等。因此，如果在每个频率上置信度区间都包括1,则仿真结果得到确认。这种古典谱窗估计方法在理论和算法上比较成熟，而且运算速度快，但在计 算短序列、低信噪比的随机序列功率谱时存在一定的局限性，而最大熵谱估计等 现代谱估计方法在计算该类功率谱时具有较高的分辨率。有关最大熵谱估计方法 的研究请参见最新的有关文献。置信区间法可以给出具有一定置信度的真值

29、的存在范围，是定量计算可观测 传统仿真模型精度的一种有效方法。实际系统和模型的输出响应往往不止一个， 计算模型精度时需将置信区间推广为同时置信区间。对于一个可观测系统的多元 响应仿真模型来说，它在一组给定试验框架下的精度可以用模型和实际系统输出 变量均值差的置信区间表示。模型输出变量j的精度用模型输出变量j的均值与 系统输出的变量j的均值差的置信区间（以下简计）给出。同时置信区间（以下 简计）由所有输出变量的置信区间构成。用户给出模型的可接受精度。作为判断 模型是否有效的标准，即仙 m - s 8（6.6）式中旦m、旦s、8都是矢量，分量形式是仙 m 一日 s| 8 .（6.7）式中吁、日；分

30、别为模型与系统输出变量j的均值，8 了为用户要求变量j达到的精 度。只有当所有模型输出变量的精度都满足时，模型才是有效的。模型置信区间的计算有一元法和多元法两条途径。一元法即应用一元统计方 法和Bonferroni不等式来构造，多元法即应用多元统计方法直接建立。一元统计 方法中，常用于均值检验的是t检验法，而多元统计则采用Roy-Bose法。各种统 计方法在应用时对被检验数据都有一定的要求，如要求被检验数据满足独立同分 布假设、正态性假设、同方差假设等条件。采用置信区间法进行模型验证时，基本步骤如下：（1）确定ARA以日m = im日；日#】表示模型输出变量总体均值的K维向量， 日s=L s日

31、s.日s表示实际系统输出变量总体均值的K维向量，H m和H s分别12 kj j是仿真模型和实际系统的第j个输出变量的总体均值。K是用于模型确认的输出变量的个数。模型的ARA定义为L H m -H s 1-Zr ，且min(1 -r) = 0。t ： 是自由度为 n+N2 的 tj=1 j Jj 分布上的/2百分位点。Sj是模型(或实际系统)第/个输出变量的样本标准差。(2) 假设模型和实际系统的输出数据是独立同分布的。如不知道模型和实 际系统的输出变量的方差，而且认为它们是不相等的。则置信度为(1 - r)的为_) ss(6.19)ym - y 土t .2 寸考 + n , j = 1,2,

32、k、一(V )_这里，(1 r) 1-Zr ，且min(1 - r) = 0。t、是自由度为u的t分布上的r /2Ij=1j Jr 小j百分位点。S2j和Sj分别是模型和实际系统第j个输出变量的样本方差。且V = /)号 n +广 N) (6.20)S 2 jn !(n -1) + V 2 /NN -1)(3) 如果模型和实际系统的输出数据是同分布的(样本数为N)，但相互不 独立。则置信度为(1 - r)的为d 土 t ；2 3S2 /N , j = 1,2,.,k(6.21)_JN-这里，d =虹r1是模型和实际系统输出变量配对差值的样本均值(k维向量)。(1 - r) 1 -，且min(1

33、 r) = 0。S.是d .的样本方差。(4)如果模型和实际系统的输出数据不是同分布的，则置信度为(1 - r)的为r 2,n-1j :S 2:S 2I考 +1 ：2N f N，j = 1,2，,k(6.22)这里，如果仿真模型和实际系统的输出结果不是相互独立的，则(1 r) 1 rm rs+ rmrs,rm =lLirm,rs= hrs ，且 min(1 r) = 0。S2和S2分j=1j=1别是模型和实际系统第j个输出变量的样本方差。2.多元法如果模型和实际系统的响应变量服从多元正态分布，那么模型和实际系统输出变量均值差的置信区间可以利用Roy-Bose多元统计法计算。(1)当模型的输出观

34、测与系统的输出观测相互独立时，直接给出置信度为(1 r)的为aTYmYYs，土a&+ T%.,j = 1,2,k(6.23)式中，a是一个k维向量，第j个元素为1，其余为0。 YmY Xm 厂)+X YsF )s Y )i m i mi si sS = i =1i=1n + N 2(6.24)式中YmiYsi=ym(1= ys1iym ym i = 1,2,，n2ikiys ys X i = 1,2，,N2iki置信区间亦可写为-C 扁-1)吁 TN-1)Tn + 叫2,j = 1,2, ,k (6.25)J j nN (n + N - 2)r ,k ,n+N-k-1式中T k 1是自由度为k

35、和n+N_k_1的Hotrlling T2分布的上r百分位点。(2)当模型和系统的观察值相互不独立时，利用模型和系统变量观测值的 配对来构造。置信度为(1 - r)的为aT d 土(qtS a； NT2 j(6.26)其中d是模型和实际观察样本配对差值的均值向量， sd是d的方差一协方差 矩阵。(3)若模型响应变量的置信区间为aTYm ；aTS2QNT.n(6.27)系统响应变量的为qtYs 、(6.28)* S r ,k, N-k其中Sm , S2分别为模型和系统的方差一协方差矩阵。置信度水平如下： 模型就系统的观测数据相互独立时，最低置信水平为(1- rm-rs) = (1- r)(6.2

36、9) 模型和系统的观测数据不相互独立时，最低置信水平为(1 - rm - rs + rmrs )=(1- r)(6.30)则根据模型响应变量的及系统响应变量的构造的为aT (Ym + Ys) (+J)(6.31)m r ,k, N-k 、 sr ,k,N-k一元法和多元法各有优点和局限性：(1) 一元法要求模型(系统)观测数据的各分量之间相互独立，即忽略变 112 量之间可能存在的相关性。在多元响应仿真模型中，这种假设与实际情况一般是 不相符的。多元法同时对多个变量的观测数据进行分析，通过样本相关系数及同 时置信区间反映输出变量之间的关系，因而比较适合。（2）多元法应用条件比较严格，要求响应变

37、量服从多元正态分布。一元统 计法的应用条件相对宽松一些。（3）一元法允许模型（系统）各个响应变量具有不同的置信水平，允许建 模者根据各个响应变量的重要程度控制其置信区间的长度，还允许各个响应变量 具有不同的样本容量；多元统计法则不允许，它要求所有响应变量具有相同的置 信水平和相等的样本容量。（4）一元法因引入了 Bonferroni不等式而存在一定的局限性：不能得到精确 的置信度，同时可能得到无意义的结果。例如，假设有5个输出变量（k=5），它 们的置信区间已通过计算得到，若每个区间的置信水平均为rj = 0.2（j = 1,2,5）， 根据Bonferroni不等式有（1 - r） 一寸 r

38、 （6.32）=ij 5个置信区间同时正确的概率P = （1 - r） 0，显然这个结论是无意义的。可 见选择r时应考虑k的值。假设r = 0.01（j = 1,2,5），5个置信区间同时正确的 概率P = （1 - r） 0.95，二值减小了，所有置信区间同时正确的概率增加了，但是 付出的代价是每个置信区间的长度也随之增加了。以上优缺点，在选择统计分析方法时应统筹考虑，概括起来讲要考虑以下几 个方面：（1）统计方法的假设条件是否满足；（2）各变量精度即区间的置信水平 是否相同；（3）模型和系统的样本容量是否相同；（4）模型精度即置信区间的宽 度是否合适；（5）置信度是否合适。假设检验法适于处

39、理大样本情况下的静态性能数据，如鱼雷脱靶量、稳定航 113行的深度偏差信号等。在仿真数据与实际系统数据之间使用统计推理，根据样本 中的信息来研究试验的典型统计量，是接受还是拒绝假设的决策取决于仿真输出 数据与实际系统输出数据的接近程度。用假设检验法评估仿真可信性的过程可按 下述步骤进行。（1）建立初始假设不管应用何种假设检验方法，模型确认都可归结为下列双选一的问题：佑：在一定的试验条件和目的下，模型在可接受的精度范围内有效；巧：在一定的试验条件和目的下，模型在可接受的精度范围内无效；“可接受的精度范围”是问题的关键，它反映了用户的需求。同时要强调的 是仿真有效或可信的前提是“在一定试验条件和目

40、的下，在可接受的精度范围 内”，离开这两点，不能说有效或无效。在上述初始假设中，可能会犯两类错误：当H0为真时，而样本观察值落入 拒绝域，因此拒绝H0,即拒绝了有效的仿真结果，称为第一类错误；当H1为真 时，而样本观察值未落入拒绝域，因此接受H即接受了无效的仿真结果，称为 第二类错误。第一类错误和第二类错误的概率分别称为模型建立者风险和模型用 户风险。用a表示犯第一类错误的概率（又称弃真概率）a = P（& ,& ） e力|力为真）12 n 00用P表示犯第二类错误的概率（又称取伪概率）P = P（& ,&，,& ） W力I力为真）12 n 01表6.4概括了上述概念的关系。表6.4两类错误的

41、概率判断行为模型状忘为为真模嗷有她）出为直模型无效）（51，&无毒拒ift橇）建模者网障牝）判断正确（如球捉虹接受盼判断正确模邸用户风险仲）理想的检验规则应使a和3都很小。但实际上，当样本容量给定时，犯两类 错误的概率不可能同时都很小。通常其中某一个减小，另一个就会增大，而且只 有增大样本容量才能使它们同时都减小。模型的精度可由有效性参数入来度量，入的选择应保证当入增大时模型的精 度降低。精度的可接受范围决定了入的有效范围，0 XX*。因此，当入的值在 其有效范围时则认为模型有效，否则拒绝接受模型。根据有效性参数入可给出正 确判断模型有效概率P的特性曲线。图6.5绘制了不同样本长度时P随入变化

42、的 曲线。从图上可以看出在小样本情况下接受不精确模型的概率较低。一旦建立了 P的特性曲线，根据给定的a *和湛可找出a和p的变化范围：a* 模型建立者风险。 （1-p*）0 模型用户风险pp *图6.5 p随入变化的特性曲线由上式描述的关系可以看到降低&的上界必然增大a的上界。从图中也可以 看出a、&、人*和观察值样本长度间具有直接的关系，只能折衷选择这些参数。(2) 产生检验信号在给定了假设后，根据所关心的静态性能，选择合适的测试信号，如检验鱼 雷稳定航行时的深度信号时，把深度偏差信号与希望值的残差作为测试信号。好 的测试信号应该具有以下性质： 应该反映仿真误差。 应尽可能降低系统初始条件对

43、测试信号的影响；虽然这一条通常被人们 忽略，但是初始条件的影响极其重要，尤其对不稳定系统和临界系统。通常实际 系统的初始条件不可能全部被预测，因此在仿真运行中初始条件只能随机给定， 若未知初始条件对输出轨迹的影响不能消除或降低，那输出的初始数据就不能 应用。 信号的测试应尽可能的简单。产生测试信号的最基本的方法是：以已知 信号u(t)作为输入，运行模型和实际系统产生的输出分别为y (t)和y (t)。y (t)mrm和y (t)可以作为检验的信号。显然，y (t)和y (t)包含了建模误差信息，即具有 rmr性质。但对于性质，这种方案没有降低未知初始条件的影响。此外，ym(t)和 y, (t)

44、很难检验，因为它们一般都是非平稳的随机过程(见图6.6)。图6.6产生检验信号(3) 选择统计量和假设变换在这一步，要从测试信号中提取合适的统计检验参数，如均值或方差等，并 将初始假设变换成一对新的假设。在新的假设里，将“精度的可接受范围”用选 定的统计量表示，但是必须保持初始假设和新假设间的等价性。等价的意思就是 新假设的接受或拒绝与初始假设的接受或拒绝相对应。为使两假设等价，必须考虑两个因素：第一，选定的统计参数应充分反映建模误差的影响；假设模型和系统输出分 别为ym (t) = vm (t)y, (t) = v, (t) + my (t)其中v (t)、v (t)和m (t)均为高斯白噪

45、声，v (t)、v (t)具有相同的统计特性，mrymrm (t)的均值未知，方差为n。初始假设为H0：在已知ym (t)和y, (t)的试验条件下，对于|my (t )| 8模型是有效；H1：在已知ym (t)和y, (t)的试验条件下，对于|my (t )| 8模型是无效。假设选定y (t)的均值R和y (t)的均值r作为统计量，把以上假设变换为 mm rrH0：在已知y (t)和y (t)的试验条件下，对于|r -r |8模型是有效； mrm rH1：在已知y (t)和y (t)的试验条件下，对于|r -r |8模型是无效。mrm r假设a = 0，即my(t)是确定的，那么r”和r，间

46、的差异能充分反映my(t)的影 响，因此假设(H0, H1)和(H0, H1)是等价的。但是当a。0时，两者不再等 价。为保持等价，必须同时选择ym(t)和yr (t)的方差作为统计量。假设|my(t)| 8 ； 意味着对90%的抽样点m (t)位于区间-8 8 ，则以|r -r +1.64 Ja 2 a2 8 代替|r -R |8时两假设近似等价(a 2和a 2为y (t)和y (t)的方差)。 rm rmr第二，选定的参数必须在初始假设的“可接受范围”内进行准确的变换。实 际上，由于“可接受范围”的原始定义是不切实际的或不合理的，或因为研究的 问题过于复杂，对初始假设进行精确等价变换是十分

47、困难的，等价性只能在近似 意义上得到。（4）假设检验设计用一种统计算法来估计统计参量，依据检验规则作出接受还是拒绝假设的判 断。估计统计量通常是建立一个随机变量，应用各种标准的检验技术检验前面形 成的假设（给定a *和阡）。以前面的假设（H0, H1）为例，抽样均值匚和二可 作为u ”和七的估计，通过检验F-寻是落在a *和阡建立的某一区域来判断模 型是否有效。1. 判断比较法判断比较（包括图形对比方法）方法虽然只能定性，不能定量给出比较误差， 但它最大的好处是直观、应用简便，因此目前工程上常常使用这种方法。系统的 性能参数可大致分为“静态”的和“动态”的，“静态”的参数如鱼雷与目标相 遇点的

48、脱靶距离和落入有效杀伤半径以内的概率等；“动态”参数在航行过程中 是随时间变化的，如鱼雷的速度、加速度、姿态、航行指令及控制偏差等，它们 常表示为时间序列的函数。当仿真模型有效时，它所产生的时间序列应该同实际 系统产生的时间序列相一致。假设七（t = 1,2,n）是实际系统运行时主要测量参 数的时间序列，七（t = 1,2,n）是仿真系统仿真运行所产生的相应时间序列，比 较七和七，观察两者接近的程度。这种定性对比分析又称为专家分析法。2. 标量指标法还有一类定性分析方法称为标量指标法，包括THEIL不等式系数法、灰色关 联度法，其基本思想是：通过两个序列的误差计算，可以给出某一性能指标来度 量

49、两个时间序列一致性的程度，例如对单输出的时间序列，THEIL不等式系数定 义为:1 g q(6.33)1项 .：1项 LiX 2 + ,_乙 y 2 n i=1 n i=1当x广y,对于所有的t = 1,2,., n成立时，R = 0表示两个时间序列完全一样; 而当x, =-y,对于所有的t = 1,2,., n成立时，r = 1表示两个时间序列完全不一 样。U越接近于0，则表示两个序列越一致，而U越接近于1，则表示两个序列 越不一致。对多输出的系统，THEIL不等系数可类似定义，多重THEIL不等系数定义 为於 If r= (6.34) x 2 + ：上 乙 2MN 1 , 1 jt MN

50、. . jt这类标量分析方法原理简单，有明显的几何意义，但由于不要求样本数据服 从某一特定的分布规律，利用这类方法作出判断时带有一定风险性。定义X,和Y之间的灰色关联系数为min|X - Y | + g max|X - Y p = 一一t一t1t一巳(6.35)t|X -Y| + &max|X -Yt t t当|Xt I三C (常数)时，则定义Pt=1。&（0,1）称为分辨系数，&的取值视具体情况而定，一般取 &。3,1或 &0,0.5。对于给定的&，p,越大，则认为和匕之间的关联程度越高。可以 证明：0 p 1。由于关联系数与各个采样点有关，信息过于分散，不便于分析，因而有必要 将各个时刻的

51、关联系数集中在一起，该点的值就是灰关联度。灰关联度的定义如下式：yA1 人 p（6.36）n t=1当&取值比较小的情况下仍能得到较大的Y （大于0.5），则认为仿真模型输 出与参考输出之间具有较强的相关性，而且对于取定的&，丫越大，二者的关联 性越强。考虑到实际系统输出，往往是多种输入因素作用下的多重时间序列，而各个 因素或各性能指标之间又有主次之分，且有时还存在着某种联系，所以仅选择一 种情况下的输出进行分析与判断往往是不够的。为此，将式（6.30）和式（6.31） 分别作如下推广：min min x (i) j +gi1 ，X (i)ttmax max x (i) ji1Lmax max

52、 x (i) jit，*x (.i) j 丰 C, V i, t(6.37)X (i) Jtt(6.38)y (i)A1 杼(i)=n t tt=1其中，匕是某一参考序列，可以是实际系统输出或理论计算值；而xt（i）则是在第i个因素影响下的仿真模型输出或者是第i次仿真试验获得的数据（i = 1,2, ,m）；七是权函数，它的选取一般要根据具体的问题凭经验而定。6.4仿真模型的确认在仿真研究中，需要确定所建仿真模型是否能有效地代表所研究的真实系 统。如果不能，则应设法使它能有效地代表真实系统。使仿真模型能有效地代表 所研究的真实系统叫做确认（也称为致效）。对仿真工作者来说，确认是一个十 分重要而

53、又非常困难的工作，之所以重要，是因为未经确认的模型是没有实用价 值的。之所以困难是由于被仿真的真实系统往往是内部结构和特性不清楚或不很 清楚的系统，我们不能绝对肯定所建仿真模型是否能有效地模仿它。另外，仿真 模型精确到什么程度，才能有效地模仿相应的真实系统，也无法给出一个通用的 客观尺度，因此，模型确认的目的应该是建立一种置信度，即研究仿真模型以怎 样的精确度代表了所研究的系统，而不是对仿真模型绝对正确性的测试。本节将根据现有资料，介绍一些关于确认问题的论述。关于仿真模型的确认问题，我们提出以下几个观点。这些观点虽然不能作为 模型确认的一般原则，但多少可作为确认模型时应经常加以参考的。1. 输

54、出变量的统计分析由于大多数仿真模型是用随机变量作为输入数据，所以仿真输出数据也是随 机的，即从仿真运行观测的变量都是随机的。用同样的输入数据和不同的随机数 序列，从多次仿真运行中所得到的样本特征将给出很有用的信息。如果我们所观 察到的数据有很大的偏差，则说明其仿真结果，甚至仿真模型的可信程度就比较 差。2. 简化模型一个复杂的模型是难以处理的，因而，应力求使模型简化或减小其规模，以 便产生一个能用解析法求解的模型，有助于分析人员用来估算观察结果稳定性的 大致界限。3. 已知情况的仿真当研究一个现存系统的仿真时，对过去的已知情况进行仿真总是可能的。在 这种情况下，可获得实际观测结果，并与仿真结果

55、相比较，它们应当相互一致。 如果结果不一致，说明仿真模型的可信度差，就应当修改模型。4. 子模型的确认对整个模型中能够独立地测试的子集要逐一进行测试。通过对这些部分的测 试将会减少把无效因素纳入模型中的危险。5. 灵敏度分析即稍微改变输入变量的数值以观察其输出变量的响应，通过这样的实验可以 确定各组成成分对整个系统特性的影响。如果输入数据的微小变动产生很大的输 出波动，则可能说明模型内部有不稳定的因素，这就应当回溯到实际系统。如果 观测结果不能合乎逻辑地说明问题，就应当算出输出变量的方差，用作分析的 指导。从以上这些观点中可明显地看到，复杂随机模型的确认是一项重大的工作， 不能认为是一步就成的

56、过程，它是一项渐进的工作，其中每一个阶段都要按照模 型所达到的确认程度和可信度来安排。模型的确认大体可以按以下步骤进行：1. 研制高外表有效性的模型模型确认的第一步是使研制的模型具有高的外表有效性，也就是使模型对熟 悉所研究系统的人来说，从外表上看就是合理的，要达到这一点，制模者要与决 策者（或管理者）相互配合，利用现有的一切信息（决策者提供的信息、现有理 论知识、观测数据以及直观感觉知识等）逐步形成决策者“感觉有效”的模型。2. 检验模型的正确性仿真模型正确性的检验主要从以下几个方面来考虑：(1) 概念的正确性。可用推理的方法或经验的方法，直接测试假设或公理， 或直接测试预言或理论。这种检验并不涉及到模型内的本质要点，只是检验理论 的正确性。(2) 方法的正确性。这里要研究的构成模型的方法，以及问题的解是否正 确。例如，在用线性方法来逼近非线性的问题时，用不精确的数学和计算方法， 用伪随机数代替随机数，用离散的等效性来代替连续系统等。在分析时，均要仔 细考虑这些方法的合理性与正确性。(3) 数据的正确性。由于种种原因，数据可能有缺陷，有缺陷的数据必然 得出不正确的仿真结果，因此在下断然结论之前必须建立完整的数据。(4) 结果的正确性。模型的输出与理论或实践之间的拟合程度是一个关键 的问题，用方差