Pairing Bayesian Methods and Systems Theory to Enable Test and Evaluation of Learning‐Based Systems
Pairing Bayesian Methods and Systems Theory to Enable Test and Evaluation of Learning‐Based Systems
复制标题
将贝叶斯方法和系统理论结合起来，实现基于学习的系统的测试和评估
DOI：
10.1002/inst.12414
复制
发表时间：
2022
期刊：
影响因子：
1.1
通讯作者：
Beling, Peter
中科院分区：
文献类型：
--
作者：
Wach, Paul;Krometis, Justin;Sonanis, Atharva;Verma, Dinesh;Panchal, Jitesh;Freeman, Laura;Beling, Peter
现代工程系统，特别是基于学习的系统，提供了前所未有的复杂性，这需要我们在方法上取得进步，通过测试和评估（T&E）来实现任务成功的信心。我们将基于学习的系统定义为包含整个系统的学习算法（人工智能）组件的工程系统。无与伦比的复杂性的一部分是基于学习的系统比传统工程系统变化的速度。由于时间（老化），传统系统的性能预计会稳步下降（变化），而基于学习的系统则会经历不断的变化，必须更好地理解这种变化，才能对任务的成功抱有高度的信心。为此，我们建议将贝叶斯方法与系统理论相结合，以量化作战条件的变化、对抗行动的变化、基于学习的系统结构的由此变化，以及由此产生的任务成功的信心措施。在这篇文章中，我们提供了对我们的总体目标的见解，以及通过理解测试的等价性来开发评估框架的进展。
Modern engineered systems, and learning‐based systems, in particular, provide unprecedented complexity that requires advancement in our methods to achieve confidence in mission success through test and evaluation (T&E). We define learning‐based systems as engineered systems that incorporate a learning algorithm (artificial intelligence) component of the overall system. A part of the unparalleled complexity is the rate at which learning‐based systems change over traditional engineered systems. Where traditional systems are expected to steadily decline (change) in performance due to time (aging), learning‐based systems undergo a constant change which must be better understood to achieve high confidence in mission success. To this end, we propose pairing Bayesian methods with systems theory to quantify changes in operational conditions, changes in adversarial actions, resultant changes in the learning‐based system structure, and resultant confidence measures in mission success. We provide insights, in this article, into our overall goal and progress toward developing a framework for evaluation through an understanding of equivalence of testing.
登录
查看更多内容
结合 Wymore 的系统理论框架和 DEVS 建模形式主义：迈向 MBSE 的科学基础
影响因子：
--
作者：
P. Wach;B. Zeigler;A. Salado
通讯作者：
A. Salado
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
Laura J. Freeman
通讯作者：
Laura J. Freeman
DOI：
--
发表时间：
2022
期刊：
INCOSE International Symposium
影响因子：
--
作者：
Paul Wach;Peter A. Beling;A. Salado
通讯作者：
A. Salado
DOI：
--
发表时间：
2019
期刊：
Syst.
影响因子：
--
作者：
Bryan T. Carter;Stephen C. Adams;Georgios Bakirtzis;Tim Sherburne;P. Beling;B. Horowitz;C. Fleming
通讯作者：
C. Fleming