Context-based Pattern Recognition for Automating Big Data Management in Clouds
基于上下文的模式识别,用于自动化云中的大数据管理
基本信息
- 批准号:RGPIN-2017-06925
- 负责人:
- 金额:$ 1.89万
- 依托单位:
- 依托单位国家:加拿大
- 项目类别:Discovery Grants Program - Individual
- 财政年份:2019
- 资助国家:加拿大
- 起止时间:2019-01-01 至 2020-12-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
We propose to build data models for real-time, on-the-fly pattern recognition in the large volumes of operational data produced by Cloud environments. Our pattern recognition techniques will be applied to a range of automated management tasks for Cloud environments, such as, anomaly diagnosis, and resource provisioning. We will also investigate the extensibility and applicability of our pattern recognition techniques to other types of big data, such as, biomedical and biometric data hosted on Cloud environments.******Objectives***1. Data Collection***We will capture various types of Cloud operational data and tag them with the high level application scope in which they occur, at the collection points, for all the application scopes of interest e.g., workload phase, parametrized request, or method invocation. The types of operational data we plan to capture and investigate include routine logging and monitoring information, such as, throughput, latency, dependability, or other application QoS metrics, as well as log statements and resource consumption time series data for CPU, network bandwidth, disk and memory consumption.******2. Pattern Learning and Recognition***As data is collected, one or more statistical learning techniques are deployed in order to learn mathematical data models, per context. For contexts that statistically diverge from the learned data model, we will trigger an automated system adaptation e.g., in terms of resource allocation and/or provide context-rich problem digests for human inspection.******Methodology***Our key idea is to leverage application contexts within our on-the-fly pattern learning and recognition framework, by explicitly augmenting routine system logging and monitoring data collection with the application contexts where these data occur. We expect that several, complementary data modelling and analysis methods will be applied jointly, or independently, for the various contexts, e.g., for the same application scope, for different scopes of the same granularity, and/or for nested scopes of different granularities. Different methods may work better for different data and different contexts. For example, a classification method based on clustering may work well for log template data, but a Neural Network method for pattern matching in time series data for resource consumption could provide better pattern extraction, learning and matching accuracy. Both methods could provide higher accuracy for anomaly detection than either method alone. In order to detect application contexts we currently use static analysis on application source code. However, we plan on including more general techniques based on binary code inspection as our project progresses. In our experimental evaluation of our prototype, we will use open-source systems in our Cloud software stack and experiment with clustering, dynamic time warp, Neural Networks and other statistical learning methods.
我们建议在云环境产生的大量操作数据中构建用于实时、动态模式识别的数据模型。我们的模式识别技术将应用于云环境的一系列自动化管理任务,例如异常诊断和资源配置。我们还将研究我们的模式识别技术对其他类型的大数据的可扩展性和适用性,例如托管在云环境中的生物医学和生物特征数据。目标 *数据收集 * 我们将捕获各种类型的云运营数据,并在收集点为所有感兴趣的应用程序范围(例如,工作负载阶段、参数化请求或方法调用。我们计划捕获和调查的运营数据类型包括常规日志记录和监控信息,例如吞吐量、延迟、可靠性或其他应用程序QoS指标,以及日志语句和CPU、网络带宽、磁盘和内存消耗的资源消耗时间序列数据。2.模式学习和识别 * 随着数据的收集,一个或多个统计学习技术被部署,以学习数学数据模型,每个上下文。对于在统计上与学习的数据模型不同的上下文,我们将触发自动系统适配,例如,在资源分配和/或提供上下文丰富的问题清单供人类检查方面。**方法论 * 我们的关键思想是在我们的动态模式学习和识别框架中利用应用程序上下文,通过显式地增强常规系统日志记录和监控数据收集与这些数据发生的应用程序上下文。我们期望几种互补的数据建模和分析方法将联合或独立地应用于各种背景,例如,对于相同的应用程序范围、对于相同粒度的不同范围和/或对于不同粒度的嵌套范围。不同的方法可能更适合不同的数据和不同的上下文。例如,基于聚类的分类方法可以很好地用于日志模板数据,但是用于资源消耗的时间序列数据中的模式匹配的神经网络方法可以提供更好的模式提取、学习和匹配精度。这两种方法可以提供更高的精度异常检测比任何一种方法单独。为了检测应用程序上下文,我们目前对应用程序源代码使用静态分析。然而,随着项目的进展,我们计划包括更多基于二进制代码检查的通用技术。在我们对原型的实验评估中,我们将在我们的云软件栈中使用开源系统,并使用聚类、动态时间扭曲、神经网络和其他统计学习方法进行实验。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Amza, Cristiana其他文献
Adaptive energy conserving algorithms for neighbor discovery in opportunistic Bluetooth networks
- DOI:
10.1109/jsac.2007.070110 - 发表时间:
2007-01-01 - 期刊:
- 影响因子:16.4
- 作者:
Drula, Catalin;Amza, Cristiana;Duda, Andrzej - 通讯作者:
Duda, Andrzej
Amza, Cristiana的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Amza, Cristiana', 18)}}的其他基金
Context-based Pattern Recognition for Automating Big Data Management in Clouds
基于上下文的模式识别,用于自动化云中的大数据管理
- 批准号:
RGPIN-2017-06925 - 财政年份:2021
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
Context-based Pattern Recognition for Automating Big Data Management in Clouds
基于上下文的模式识别,用于自动化云中的大数据管理
- 批准号:
RGPIN-2017-06925 - 财政年份:2020
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
Context-based Pattern Recognition for Automating Big Data Management in Clouds
基于上下文的模式识别,用于自动化云中的大数据管理
- 批准号:
RGPIN-2017-06925 - 财政年份:2018
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
Context-based Pattern Recognition for Automating Big Data Management in Clouds
基于上下文的模式识别,用于自动化云中的大数据管理
- 批准号:
RGPIN-2017-06925 - 财政年份:2017
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
High bandwidth EEG data hosting and analytics in cloud-based storage systems
基于云的存储系统中的高带宽脑电图数据托管和分析
- 批准号:
488865-2015 - 财政年份:2017
- 资助金额:
$ 1.89万 - 项目类别:
Collaborative Research and Development Grants
Chorus: A Resource Management Framework for Cost Effective Quality of Service in Cloud Environments
Chorus:云环境中具有成本效益的服务质量的资源管理框架
- 批准号:
298489-2012 - 财政年份:2016
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
High bandwidth EEG data hosting and analytics in cloud-based storage systems
基于云的存储系统中的高带宽脑电图数据托管和分析
- 批准号:
488865-2015 - 财政年份:2016
- 资助金额:
$ 1.89万 - 项目类别:
Collaborative Research and Development Grants
Chorus: A Resource Management Framework for Cost Effective Quality of Service in Cloud Environments
Chorus:云环境中具有成本效益的服务质量的资源管理框架
- 批准号:
298489-2012 - 财政年份:2015
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
Chorus: A Resource Management Framework for Cost Effective Quality of Service in Cloud Environments
Chorus:云环境中具有成本效益的服务质量的资源管理框架
- 批准号:
298489-2012 - 财政年份:2014
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
Chorus: A Resource Management Framework for Cost Effective Quality of Service in Cloud Environments
Chorus:云环境中具有成本效益的服务质量的资源管理框架
- 批准号:
298489-2012 - 财政年份:2013
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
相似国自然基金
Data-driven Recommendation System Construction of an Online Medical Platform Based on the Fusion of Information
- 批准号:
- 批准年份:2024
- 资助金额:万元
- 项目类别:外国青年学者研究基金项目
Exploring the Intrinsic Mechanisms of CEO Turnover and Market Reaction: An Explanation Based on Information Asymmetry
- 批准号:W2433169
- 批准年份:2024
- 资助金额:万元
- 项目类别:外国学者研究基金项目
Incentive and governance schenism study of corporate green washing behavior in China: Based on an integiated view of econfiguration of environmental authority and decoupling logic
- 批准号:
- 批准年份:2024
- 资助金额:万元
- 项目类别:外国学者研究基金项目
含Re、Ru先进镍基单晶高温合金中TCP相成核—生长机理的原位动态研究
- 批准号:52301178
- 批准年份:2023
- 资助金额:30.00 万元
- 项目类别:青年科学基金项目
NbZrTi基多主元合金中化学不均匀性对辐照行为的影响研究
- 批准号:12305290
- 批准年份:2023
- 资助金额:30.00 万元
- 项目类别:青年科学基金项目
眼表菌群影响糖尿病患者干眼发生的人群流行病学研究
- 批准号:82371110
- 批准年份:2023
- 资助金额:49.00 万元
- 项目类别:面上项目
镍基UNS N10003合金辐照位错环演化机制及其对力学性能的影响研究
- 批准号:12375280
- 批准年份:2023
- 资助金额:53.00 万元
- 项目类别:面上项目
CuAgSe基热电材料的结构特性与构效关系研究
- 批准号:22375214
- 批准年份:2023
- 资助金额:50.00 万元
- 项目类别:面上项目
A study on prototype flexible multifunctional graphene foam-based sensing grid (柔性多功能石墨烯泡沫传感网格原型研究)
- 批准号:
- 批准年份:2020
- 资助金额:20 万元
- 项目类别:
基于大数据定量研究城市化对中国季节性流感传播的影响及其机理
- 批准号:82003509
- 批准年份:2020
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
相似海外基金
Robust Three-Dimensional Pattern Recognition based on Object Oriented Data Analysis
基于面向对象数据分析的鲁棒三维模式识别
- 批准号:
23K16900 - 财政年份:2023
- 资助金额:
$ 1.89万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
Computational modeling of IP3 production in neuronal dendritic spines based on the distribution pattern of PIP2 and mGluRs
基于 PIP2 和 mGluR 分布模式的神经元树突棘中 IP3 产生的计算模型
- 批准号:
23K19411 - 财政年份:2023
- 资助金额:
$ 1.89万 - 项目类别:
Grant-in-Aid for Research Activity Start-up
Stratification of Protein Aggregation States based on Pattern Recognition for Screening Factors Controlling Phase Separation
基于模式识别的蛋白质聚集态分层控制相分离的筛选因素
- 批准号:
23H01995 - 财政年份:2023
- 资助金额:
$ 1.89万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
Identifying landscape pattern fragmentation with an agent-based process
使用基于代理的流程识别景观格局碎片
- 批准号:
574401-2022 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Alexander Graham Bell Canada Graduate Scholarships - Master's
Multi-phase 3D printing of wax-based systems for large-scale casting pattern and mold development
用于大型铸造模型和模具开发的蜡基系统的多相 3D 打印
- 批准号:
570912-2021 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Alliance Grants
Development of learning subspace-based methods for pattern recognition
基于学习子空间的模式识别方法的开发
- 批准号:
22K17960 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
Pattern Recognition Based Myoelectric Control for Emerging Human-Machine Interfaces
基于模式识别的新兴人机界面肌电控制
- 批准号:
RGPIN-2020-04776 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Individual
Development of DNA damage estimation system based on spatial pattern of radiation track structure
基于辐射轨迹结构空间格局的DNA损伤估计系统研制
- 批准号:
22H03744 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
Pattern Recognition Based Myoelectric Control for Emerging Human-Machine Interfaces
基于模式识别的新兴人机界面肌电控制
- 批准号:
RGPAS-2020-00109 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Discovery Grants Program - Accelerator Supplements
Metamaterial-based reconfigurable antennas with dynamic radiation pattern functionality
具有动态辐射方向图功能的基于超材料的可重构天线
- 批准号:
556428-2020 - 财政年份:2022
- 资助金额:
$ 1.89万 - 项目类别:
Alliance Grants