Discovery of input/output Casual relations in Software Systems

软件系统中输入/输出因果关系的发现

基本信息

  • 批准号:
    2399261
  • 负责人:
  • 金额:
    --
  • 依托单位:
  • 依托单位国家:
    英国
  • 项目类别:
    Studentship
  • 财政年份:
    2020
  • 资助国家:
    英国
  • 起止时间:
    2020 至 无数据
  • 项目状态:
    未结题

项目摘要

Despite digital technologies have notably revolutionized daily life, security and privacy concerns have emerged alongside. The complexity of their tasks has made automated systems ever more difficult to understand, causing a progressive loss of confidence, especially in critical scenarios involving sensitive data. Current interpretability methods tackle the opacity problem only from partial perspectives: suited to specific systems, highlighting statistical correlations, or providing too technical explanations.Our research places in the Causal Discovery area and aims thus to answer the critical question "why did a system make that decision?" lifting the analysis to higher levels of abstraction. We propose a novel General Causal Explanation Method for testing the behavioural logic of software systems on large-scale, serving a dual purpose: provide human-understandable explanations of the reasons why an automated procedure comes to the outcome in terms of input categories that directly affect it; assess whether a system's decision logic violates predefined software specifications.We leverage on Information Theory and a Lattice structure of partitions defined on the input space of the systems under test (SUT), treated as black-box: we only require access to input/output (I/O) interfaces. We develop an algorithm that investigates I/O causal relationships by performing Conditional Independence Testing via Conditional Mutual Information (CMI). The idea is look for the smallest subset of input variables (input part) that when altered cause a change in the output (or given output part). An elimination strategy is used to build explanations, excluding input variables with null CMI.The three core pillars of our research are summarized below:1) Information-Theory grounded General Causal Explanation Framework: evaluation of the methodology in different application areas. We show the versatility of our method in testing software and properties of different nature. We start focusing on Machine Learning-based predictive systems involving sensitive input categories, Programs implementing security policies and Image recognition systems. After dealing with Fairness, Information leakage and misclassification in black-box scenarios, we'll introduce a fourth white-box case study. With the growing number of studies focused on testing Social Network platforms, we find interesting to adopt our explanation methodology to model simulated social interactions by leveraging on causal reasoning. 2) Enhance Software Testing Performance adding Statistical Guarantee.We aim to improve our Test Set and information-theoretic measurements' quality by providing our testing approach with statistical guarantee. We investigate existing statistical methods used for estimating Mutual Information looking for the most suitable in the context of our study, that comes with a good statistical confidence level. This would allow to: provide more rigorous findings, argue that the detected influential and non-influential parts are correct with a high-level confidence; release our findings from approximations and test suite size.3) Generalise Causal Analysis with Directed Information (DI).We discuss the link between Granger Causality and DI Theory showing that DI algebraic structure, simplified to our scenarios, aligns with CMI. Expand our generalised approach using DI becomes thus a compelling direction for our research, especially w.r.t. more complex scenarios where the direction of the I/O relationship is ambiguous. An interesting application context is given by interactive programs (webpages, editors) where the information can flow in different directions, given the existence of multiple users interacting with the program simultaneously. We expect to deliver a broad range of contributions both to users and developers, enabling informed usage of critical software systems, detecting and mitigating threats to fairness and security, and enhancing the overall q
尽管数字技术已经显著改变了日常生活,但安全和隐私问题也随之出现。他们的任务的复杂性使得自动化系统越来越难以理解,导致信心逐渐丧失,特别是在涉及敏感数据的关键场景中。目前的可解释性方法只能从局部的角度来解决不透明性问题:适合特定的系统,突出统计相关性,或者提供过于技术性的解释。我们的研究放在因果发现领域,旨在回答关键问题“为什么一个系统会做出这样的决定?“将分析提升到更高的抽象层次。我们提出了一种新的通用因果解释方法,用于大规模测试软件系统的行为逻辑,具有双重目的:提供人类可以理解的解释,解释为什么自动化过程会产生直接影响它的输入类别的结果;评估系统的决策逻辑是否违反预定义的软件规范。我们利用信息论和分区的格结构定义在被测系统(SUT)的输入空间上,被视为黑盒:我们只需要访问输入/输出(I/O)接口。我们开发了一种算法,通过条件互信息(CMI)进行条件独立性测试,调查I/O因果关系。其想法是寻找输入变量(输入部分)的最小子集,当更改时会导致输出(或给定的输出部分)发生变化。我们的研究的三个核心支柱总结如下:1)基于信息理论的一般因果解释框架:在不同的应用领域评估方法。我们展示了我们的方法在测试软件和不同性质的属性的多功能性。我们开始专注于基于机器学习的预测系统,涉及敏感输入类别,实施安全策略的程序和图像识别系统。在处理了黑盒场景中的公平性、信息泄漏和错误分类之后,我们将介绍第四个白盒案例研究。随着越来越多的研究专注于测试社交网络平台,我们发现有趣的是,采用我们的解释方法来模拟社会互动,利用因果推理。2)增加统计保证提高软件测试性能我们的目标是通过为我们的测试方法提供统计保证来提高我们的测试集和信息论测量的质量。我们调查了现有的统计方法,用于估计互信息,寻找最适合我们的研究背景下,具有良好的统计置信水平。这将允许:提供更严格的发现,认为检测到的有影响力和无影响力的部分是正确的高水平的信心,释放我们的发现从近似和测试套件大小。3)广义因果分析与有向信息(DI)。我们讨论了格兰杰因果关系和DI理论之间的联系,显示DI代数结构,简化到我们的场景,符合CMI。因此,使用DI扩展我们的通用方法成为我们研究的一个引人注目的方向,特别是w.r.t. I/O关系的方向不明确的更复杂的场景。一个有趣的应用程序上下文是由交互式程序(网页,编辑器)提供的,其中信息可以在不同的方向上流动,因为存在多个用户同时与程序交互。我们希望为用户和开发人员提供广泛的贡献,使关键软件系统的知情使用,检测和减轻对公平和安全的威胁,并提高整体质量。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

其他文献

吉治仁志 他: "トランスジェニックマウスによるTIMP-1の線維化促進機序"最新医学. 55. 1781-1787 (2000)
Hitoshi Yoshiji 等:“转基因小鼠中 TIMP-1 的促纤维化机制”现代医学 55. 1781-1787 (2000)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
LiDAR Implementations for Autonomous Vehicle Applications
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
生命分子工学・海洋生命工学研究室
生物分子工程/海洋生物技术实验室
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
吉治仁志 他: "イラスト医学&サイエンスシリーズ血管の分子医学"羊土社(渋谷正史編). 125 (2000)
Hitoshi Yoshiji 等人:“血管医学与科学系列分子医学图解”Yodosha(涉谷正志编辑)125(2000)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
Effect of manidipine hydrochloride,a calcium antagonist,on isoproterenol-induced left ventricular hypertrophy: "Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,K.,Teragaki,M.,Iwao,H.and Yoshikawa,J." Jpn Circ J. 62(1). 47-52 (1998)
钙拮抗剂盐酸马尼地平对异丙肾上腺素引起的左心室肥厚的影响:“Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:

的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('', 18)}}的其他基金

An implantable biosensor microsystem for real-time measurement of circulating biomarkers
用于实时测量循环生物标志物的植入式生物传感器微系统
  • 批准号:
    2901954
  • 财政年份:
    2028
  • 资助金额:
    --
  • 项目类别:
    Studentship
Exploiting the polysaccharide breakdown capacity of the human gut microbiome to develop environmentally sustainable dishwashing solutions
利用人类肠道微生物群的多糖分解能力来开发环境可持续的洗碗解决方案
  • 批准号:
    2896097
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
A Robot that Swims Through Granular Materials
可以在颗粒材料中游动的机器人
  • 批准号:
    2780268
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Likelihood and impact of severe space weather events on the resilience of nuclear power and safeguards monitoring.
严重空间天气事件对核电和保障监督的恢复力的可能性和影响。
  • 批准号:
    2908918
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Proton, alpha and gamma irradiation assisted stress corrosion cracking: understanding the fuel-stainless steel interface
质子、α 和 γ 辐照辅助应力腐蚀开裂:了解燃料-不锈钢界面
  • 批准号:
    2908693
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Field Assisted Sintering of Nuclear Fuel Simulants
核燃料模拟物的现场辅助烧结
  • 批准号:
    2908917
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Assessment of new fatigue capable titanium alloys for aerospace applications
评估用于航空航天应用的新型抗疲劳钛合金
  • 批准号:
    2879438
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Developing a 3D printed skin model using a Dextran - Collagen hydrogel to analyse the cellular and epigenetic effects of interleukin-17 inhibitors in
使用右旋糖酐-胶原蛋白水凝胶开发 3D 打印皮肤模型,以分析白细胞介素 17 抑制剂的细胞和表观遗传效应
  • 批准号:
    2890513
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
CDT year 1 so TBC in Oct 2024
CDT 第 1 年,预计 2024 年 10 月
  • 批准号:
    2879865
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Understanding the interplay between the gut microbiome, behavior and urbanisation in wild birds
了解野生鸟类肠道微生物组、行为和城市化之间的相互作用
  • 批准号:
    2876993
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship

相似国自然基金

近空间飞行器载MIMO SAR高分辨率、宽测绘带遥感成像机理与方法
  • 批准号:
    41101317
  • 批准年份:
    2011
  • 资助金额:
    25.0 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

SBIR Phase I: Simultaneous Transmit-Receive and Full-Duplex Millimeter-Wave Massive Multiple-Input and Multiple-Output (MIMO) Systems
SBIR 第一阶段:同时发送-接收和全双工毫米波大规模多输入多输出 (MIMO) 系统
  • 批准号:
    2322297
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
Functional plasticity in retinal degenerative disease
视网膜退行性疾病的功能可塑性
  • 批准号:
    10637293
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
Non-invasive Condition Monitoring of Ventricular Assistive Devices Using Automated Advanced Acoustic Methods
使用自动化先进声学方法对心室辅助装置进行无创状态监测
  • 批准号:
    10629554
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
Integrative Analysis of Adaptive Information Processing and Learning-Dependent Circuit Reorganization in the Auditory System
听觉系统中自适应信息处理和学习依赖电路重组的综合分析
  • 批准号:
    10715925
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
Emergent Behavior in a Dish: Discovery of Bi-directional Spiraling as a Population Phenomenon in C. elegans Enables In-Depth Dissection of Mechanisms Underlying Group Behaviors
培养皿中的突现行为:发现秀丽隐杆线虫中的双向螺旋种群现象,有助于深入剖析群体行为背后的机制
  • 批准号:
    10724212
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
Genetic Analyses of Dendrite Morphogenesis in Caenorhabditis Elegans
秀丽隐杆线虫树突形态发生的遗传分析
  • 批准号:
    10736702
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
Bioelectric monitoring and neuromodulation of the heart
心脏的生物电监测和神经调节
  • 批准号:
    10655997
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
microRNA-Regulated Mechanisms Essential for Structural Plasticity of Drosophila Glutamatergic Synapses
microRNA 调控机制对于果蝇谷氨酸突触的结构可塑性至关重要
  • 批准号:
    10792326
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
A highly opioid responsive VTA projection to the dorsal endopiriform nucleus.
高度阿片类药物反应的 VTA 投射到背内核状核。
  • 批准号:
    10739039
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
Circuit Mechanism of Pheromone Processing and Innate Behavior
信息素加工和先天行为的回路机制
  • 批准号:
    10601689
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了