《在数字范式下定位试验鉴定》-国际实验鉴定协会（ITEA）

本文选译自国际实验鉴定协会（ITEA）最新一期期刊，原文标题为《在数字范式下定位试验鉴定》“Positioning Test and Evaluation for the Digital Paradigm”，文章探讨了如何将试验鉴定与使命工程、数字工程更好地结合，提升武器装备的采办效率。美军早在2018年就开始提“数字化试验鉴定”的概念，但是一直未见落实。这篇文章提出“基于模型的试验鉴定”概念，给出了实现这一概念的三阶段路线图，我们认为国内研究试验鉴定的同志或可借鉴，现全文翻译，供参考。

关于国际试验鉴定协会（ITEA）

国际试验鉴定协会（ITEA）在试验鉴定领域可算是众所周知，其总部设于美国弗吉尼亚州，已有40年历史，会员遍布政府、行业、研究机构、学术界，汇集了全球试验鉴定领域的专业人士和资源。该协会主要参与试验鉴定政策的制定，推动先进技术在试验鉴定中的应用，评估武器系统及产品在全寿命周期的有效性、可靠性、互操作性和安全性，促进各界在试验鉴定领域的合作与交流。

该协会每年出版4期期刊，举办年会和若干专题研讨会，如多域战试验鉴定、网络安全试验鉴定、定向能试验鉴定、试验与训练仪器设备研讨会等。其季刊选文质量是试验鉴定领域最高水准，历年期刊目录见文后。

基于模型的试验鉴定

美国国防部及支撑企业、研究单位和学术伙伴提出使用数字工程（Digital Engineering）方法和工具来更新其传统的系统工程和实验鉴定实践，以加速传统采办流程，改善采办效率。通过利用计算机科学、建模、分析和数据科学，数字工程转型为美国国防部提供了新机会，希望利用数据进行新系统和能力的规划、设计、开发、试验鉴定、部署和维护，以支持作战任务。

数字工程的好处涵盖了整个采办寿命周期，包括增强各利益相关方之间的数据共享和管理；改进建模仿真和数据分析工具和方法的应用；无缝集成使命工程（Mission Engineering）、系统工程（System Engineering）和试验鉴定活动；优化数据在决策中的采用。数字工程转型势在必行，国防部项目面临如何在现有基础设施、流程和采办队伍下实现这一愿景的实际挑战。

本文提出了一个分阶段方法，可在数字工程转型早期解决试验鉴定所面临的问题，使试验鉴定单位能够充分利用数字工程的优势。本文主张尽可能利用数字工程和基于模型的系统工程（MBSE）方法和工具，创建一个专门的实践领域，称为“基于模型的试验鉴定”。本文提出了“基于模型的试验鉴定”路线图，分为三个阶段，为进一步研究和衡量在试验鉴定中实现数字工程目标，提供了发展路径。

一、试验鉴定与数字工程转型历程

美国国防部及及各支撑企业、研究单位和学术合作伙伴正在经历一个变革时期，以实现数字工程转型，克服新系统采办困难。当前采办中最大的限制之一是系统设计和开发所需的时间。目前的系统可能需要十年甚至更长时间才能开发完成，投入作战使用；采办活动往往以顺序方式进行，并存在数据孤立问题。这种传统采办模型使得国防部面临无法保持作战优势的风险，除非进行改变，以更好地适应新兴技术和复杂系统能力日益快速的进展。

数字工程转型有望缩短计划、设计、开发、试验鉴定和部署复杂系统所需的时间，同时通过提供关于设计变更如何转化为作战能力的数字反馈循环，来提高整体系统性能和效果。这一转型的关键推动因素是：增强数据共享；改进建模、仿真和数据分析的使用；整合使命工程、系统工程和试验鉴定活动；优化数据在决策中的使用。

一些基础性工作在十多年前试验鉴定单位就开始了，并在过去五年加速推进。下面梳理一下历年关键举措：

2007-2008年：集成试验强制要求和集成试验鉴定的定义

2007年，主管采办、技术与后勤的美国国防部副部长办公室和国防部试验鉴定局首次要求实施集成试验，并在2008年紧随其后发布了一份联合备忘录，定义集成试验为：协同规划和执行试验鉴定各阶段和事件，提供共享数据，支持独立分析、鉴定和报告，特别是研制实验鉴定（包括承包商和政府）和作战试验鉴定单位。

这个定义侧重于协作规划，但鉴定是独立作出的。由于对报告中真实性的担忧，或怀疑缺乏独立性，这导致了对整个采办寿命周期跨领域数据整合的重视不足。

2010年：集成试验鉴定的连续性，取得采办成功的关键

2010年，在一篇国际试验鉴定协会的文章中，国防部试验鉴定局主张使用从研制试验鉴定到作战试验鉴定的一体化信息流，以克服传统采办流程中的限制。该论文扩展了集成试验的概念，包括连续试验鉴定。该方法跨越了采办寿命周期，通过在A里程碑之前到C里程碑之后跨越研制试验鉴定和作战试验鉴定，促进了对系统需求、研制和性能的持续学习和知识共享。尽管多年来人们已经广泛理解和接受了在采办寿命周期中进行试验鉴定的概念，但由于实施成本以及缺乏可互操作数字工程环境、工具互操作性和支持整个试验鉴定阶段和采办寿命周期中完整端到端知识和数据共享的统一数据策略等原因，进展缓慢。

2018年：推出数字工程

2018年，美国国防部领导层通过发布《国防部数字工程战略》加速推动数据更好地整合和共享。该战略将数字工程定义为“一种综合数字方法论，利用权威的系统数据和模型，在跨学科采办寿命周期中支持从概念提出到退役处置的寿命周期活动。”整个一概念概述了如何改进国防部“设计、开发、交付、作战和维护系统。”

2022年：试验鉴定转型愿景

2022年6月，国防部作战试验鉴定局局长在其《作战试验鉴定战略更新2022》中基于《国防部数字工程战略》及其提出的数字工程转型，概述了改变试验鉴定基础设施、流程、概念、工具和人员的愿景，以跟上技术、威胁和作战环境的迅速演变。与数字工程转型契合的试验鉴定转型的关键方面包括：

• 协调技术和项目数据，实现高效决策和沟通；

• 在采办寿命周期早期进行作战相关试验鉴定（向左偏移）；

• 创新试验鉴定数据管理工具和方法，以衡量和鉴定面向数据的作战绩效；

• 开发并实施可信数字工具和自动化，推动更好的试验鉴定，缩短试验鉴定时间，更早地揭示性能缺陷；

• 利用承包商和研制数据支持作战评估；

• 集成基于物理建模和仿真、分析模型（如离散事件仿真）以及来自多个试验鉴定阶段的试验数据，增强对技术风险和不确定性预测的理解。

2023年：实现连续试验鉴定

2023年3月，国防部长办公厅研制试验、鉴定和评价部与海军航空系统司令部下的“以能力为基础的试验鉴定办公室”合作发布了《连续试验鉴定》（T&E as a Continuum），提出了实施更加基于风险、基于能力、集成的复杂系统采办试验鉴定方法的建议。该文在《国防部数字工程战略》的基础上，提出了一个以三个关键属性和三个关键推动因素为中心的“连续试验鉴定”框架。表1列出了关键属性和关键推动因素。

表1：“连续试验鉴定”关键属性和推动因素

在这三个关键推动因素中，基于模型的环境被认为是最重要的，因为它在试验鉴定采办寿命周期中提供了建模、仿真、数据分析、数据共享和使命工程-系统工程-试验鉴定集成的数字支持。

二、从愿景到落地

自2018年发布《国防部数字工程战略》以来，国防部试验鉴定领导层已经接受了在国防部指示5000.89（2020年）中追求试验鉴定转型的价值，并正在寻求如何与更大的数字工程转型相结合，以获得最佳价值。实现这一目标的路径尚未明确。《DOT&E战略更新》（2022年）提供了一个框架，但试验鉴定单位需要进一步讨论和计划，以在规定的时间内提供可行的实施建议。

为此，《DOT&E战略更新》与采办创新研究中心（AIRC）合作，正在制定其中与试验鉴定转型要素相关的实施建议，包括：

• 在采办寿命周期早期进行作战相关试验鉴定（向左偏移）

• 开发和实施可信数字工具和自动化，推动更好的试验鉴定、缩短试验鉴定时间，并更早地揭示性能缺陷

• 集成基于物理的建模和仿真、分析模型（如离散事件仿真）以及来自多个试验鉴定阶段的试验数据，以增强对技术风险和不确定性预测的理解

这三个要素被确定为优先考虑的因素，因为它们之间存在相互依赖关系，并为整合使命工程、系统工程和试验鉴定做出了贡献。它们共同代表了基于模型的系统工程方法、工具和数据在试验鉴定采办寿命周期中的成熟应用。尽管本文侧重于基于模型的系统工程，但是其他的解决方案（如关系数据库）也有其价值。例如，国防部试验鉴定局和海军部正在开发用于试验鉴定总体规划（TEMP）和试验鉴定规划、执行和分析的数字解决方案，这些解决方案使用关系数据库。

三、基于模型的试验鉴定现状

采办创新研究中心（AIRC）进行了文献研究，并与许多从业者进行了多次访谈，以了解“基于模型的试验鉴定”的当前实践状态，该实践表示将基于模型的系统工程（MBSE）方法和工具与实验鉴定活动相结合，以配合数字工程整体转型。

（一）定义“基于模型的试验鉴定”

国防部研究与工程副部长将MBSE定义为“一种综合数字方法论，利用系统数据和模型在跨学科采办寿命周期中支持从概念提出到退役处置的寿命周期活动”。在逻辑上，在基于模型的试验鉴定使用这种综合数字方法来支持试验规划、试验执行和试验结果分析，包括根据需要整合来自基于模型的数据源的信息。国防部正在推进数字设计和工具互操作性的数字工程转型，涵盖研制过程各个方面。MBSE是该转型的系统工程部分。由于系统工程既探索系统级开发又探索系统级验证和确认（V&V），国防部还寻求将实验鉴定数字过程和工具集成到总体数字工程转型中。在逻辑上，根据MBSE的定义，基于模型的试验鉴定是使用综合数字方法来支持试验规划、试验执行和试验结果分析，包括根据需要，将来自基于模型的数据源信息整合到分析和鉴定中。

从根本上讲，MBSE使系统工程师和任务工程师能够执行相同的功能，包括任务和系统需求定义、向子系统分配要求、识别要求的验证方法，并在实现系统设计时追踪验证工作。然而，MBSE使得系统和任务工程人员能够在数字环境中执行这些任务，有助于处理当今系统的复杂性。使用数字环境支持识别系统组件之间的互操作性要求，分析设计中存在的冲突需求或技术差距，并在系统设计成熟时保持各个组件的配置管理。MBSE应用数字设计工具集来定义系统和子系统之间的关系和行为。这些工具集支持将任务目标与物理和软件设计环境联系起来。这种联系通过底层数据来维持。MBSE使试验单位能够在采办寿命周期早期进行集成和试验活动的规划，通过使用工具集自动捕获系统设计、供应链和集成步骤变化对试验规划和资源的影响，同时采用定量规划方法，与集成和试验规划模型直接连接。

陆基战略遏制系统、T-7喷气式教练机和即将到来的未来远程突击飞机等大型采办项目都在利用MBSE方法。

（二）基于模型的试验鉴定实践

从2022年10月到2023年3月，采办创新研究中心（AIRC）研究了政府、行业和学术界当前在基于模型的试验鉴定方面的实践情况，采取了哪些方法（包括工具），获得了哪些好处，遇到了哪些挑战或限制。这项研究包括文献回顾和利益相关者访谈，并收集了政府、行业和学术界MBSE从业者的观点。

文献回顾：从文献搜索中选择了23篇出版物，包括政府政策、学术研究和针对国防部研制项目实施T&E的政府数字工程提案。审阅这些出版物，以更好地了解试验鉴定政策，了解政府对实验鉴定单位的预期，并了解已经在学术研究或行业中探索的与基于模型的试验鉴定相关的实践。

利益相关者访谈：与12位MBSE从业者进行了访谈，目的相同。研究团队试图揭示从业者在与MBSE重点开发项目中应用数字实验鉴定实践方面所取得的成果。这些访谈还探讨了当前工具使用中遇到的一些挑战。

总体结论是，政府和行业广泛采用和实施MBSE工具和方法来支持早期系统设计和开发。相反，MBSE与实验鉴定的整合几乎是零星的，并且仅限于大型组织内的少数个人。

为了使使命工程、系统工程和实验鉴定单位在采纳和实施上更加紧密地联系起来，确定了基于模型的试验鉴定的三个推动因素：

表1描述了与每个推动因素相关的挑战，以及进一步推进基于模型的试验鉴定实践的建议。

（三）基于模型的试验鉴定路线图

基于前一部分的研究结果，本文提出了一个基于模型的试验鉴定路线图，概述了从以纸质为中心的、孤立采办到设想中的数据为中心的试验鉴定采办寿命周期之间逻辑上的过渡。该路线图包括三个阶段：

第一阶段，基于模型的试验鉴定规划和控制。该阶段涉及以数字化交付物替代传统的纸质试验鉴定交付物，包括描述性模型和执行模型。该阶段不仅仅是将纸质成果数字化，还包括（1）建立正式专业语言、统计模型和建模语言，与任务和系统开发正式语言、统计模型和建模语言保持一致（但尚未整合）；（2）部署共享数字存储库；（3）更新配置控制、工作流程和工作文化，以采用面向试验鉴定规划和控制的建模策略。

好处：简化工作流程，改进信息访问和共享，增加试验鉴定信息一致性，更高效有效地进行变更管理，并增强知识管理能力。

影响：在使命结果、作战能力、系统需求和试验计划之间实现更好的可追溯性、可见性和决策。

第二阶段，动态试验鉴定规划和执行。在这一阶段，通过量化方法增强第一阶段建立的建模框架，使其能够在执行过程中根据结果的可用性动态更新试验计划。在这一阶段，多个试验阶段不仅在资源消耗、进度和成本规划方面，以描述性或定量性方式进行链接，而且它们所产生的对任务目标实现的信心，也使用贝叶斯和其他统计建模和分析方法（如[6-9]）进行实时链接。对试验结果的鉴定，从检查是否复合标准发展为重新评估信心，并重新鉴定未来试验鉴定活动的需求。

好处：由于更好地利用当前观察结果和过去经验（只执行真正必要的活动），提高了试验规划和管理的效率；由于更早地识别潜在技术风险和差距，提高了试验规划的准确性。

影响：在主要采办审查点或里程碑上，在各种条件下（确定、风险或不确定）优化利用可用的试验鉴定数据和信息来支持决策。

第三阶段，让任务、系统和试验鉴定决策协调一致。在第二阶段建立的建模框架与任务和系统工程建模框架集成在一起，包括描述性模型和执行模型。它包括（1）在领域间集成正式专业语言、统计模型和建模语言；（2）集成共享数字存储库；（3）开发数学基础和量化方法，以跨领域高效地集成数据并探索集成是使命工程/系统工程/试验鉴定交叉领域；（4）更新使命工程、系统工程和试验鉴定工作流程和工作文化。

好处：能够进行全系统权衡（试验鉴定推动使命工程、系统工程，反之亦然）。

影响：打破使命工程、系统工程和试验鉴定在采办寿命周期中的隔离；提供关于任务、系统和其试验鉴定之间的二阶关系的洞察。

基于模型的试验鉴定路线图不是万应灵药，也不应被视为完全按顺序执行的方法，即必须完整地完成一个阶段后才能进入下一个阶段。相反，该路线图为进一步协调提供了指导，以支持每个阶段所需的深入研究与开发，并帮助实验鉴定人员预测试验鉴定实践发展趋势。通过这种方式，该路线图能使业界达成共识，即如何从现今的现状，逐步稳步地走向未来基于模型的试验鉴定。要考虑的因素包括：系统及其操作环境的复杂性、项目进度、项目资源、数字骨干系统的成熟度和可用性，以及人员能力等因素，需要为每个国防部采办项目量身定制通过三个阶段进行进展的路径。

图2提供了通过基于模型的试验鉴定路线图的示例，标识了在每个阶段可能引入的方法。

图2：基于模型的试验鉴定路线图

三、结论和建议

根据迄今对基于模型的试验鉴定实践情况的研究，建议将基于模型的试验鉴定路线图的第一阶段，作为所有采办项目在采用和实施MBSE和数字工程工具和方法方面的新基准。这一基准代表了在数字工程转型中使用数字化数据和信息以及数字工具和模型的最低要求。它为项目通过基于模型的试验鉴定各阶段提供了一个较低的进入门槛，并有助于进一步整合使命工程、系统工程和试验鉴定学科在采办寿命周期中的工作。

需进行进一步研究以推进基于模型的试验鉴定路线图，并描述每个阶段。后续工作建议包括：

1.通过试验鉴定总规划（TEMP）或其他交付物，继续评估基于模型的试验鉴定的应用情况；

2.推进上述路线图，描述其在每个阶段的不同应用水平；

3.在全采办寿命周期中考虑基于模型的试验鉴定的成果，与使命工程早期活动对齐；

4.探索一个典型案例研究，在应用单位间共享，以促进这些方法的应用。

国际试验鉴定协会（ITEA）历年期刊目录

国际试验鉴定协会期刊每年出版4期，每期100页左右。涉及试验鉴定方法论、全球试验鉴定发展趋势、人才培养、经验教训、新兴技术、人工智能、网络安全、建模仿真、无人系统等，反映了试验鉴定领域最新研究动态，其选文质量是试验鉴定领域最高水准。