高性能計算技術とマイクロサービス化技術の融合に関する研究
高性能计算技术与微服务技术融合研究
基本信息
- 批准号:20K11837
- 负责人:
- 金额:$ 1.25万
- 依托单位:
- 依托单位国家:日本
- 项目类别:Grant-in-Aid for Scientific Research (C)
- 财政年份:2020
- 资助国家:日本
- 起止时间:2020-04-01 至 2024-03-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
今年度は,複数計算機で構成されたクラスタ環境におけるコンテナスケジューリンングに関する研究を実施した.汎用的なアプリケーションを対象とした研究(DRF,Tetris等)は過去に十分尽くされており,近年,深層機械学習や推論等の特定のアプリケーションに着目した研究(Gandiva,Tiresias,Themis,Pollux等)が実施され始めている.機械学習は近年再び大きく注目を集めており,その観点からも実施する意義がある.本研究では,まず手始めに深層機械学習の学習と推論のうち,より問題が簡単な推論ワークロードを対象とした研究から着手することにした.本研究では,NVIDIAの最新世代のGPUが有するハードウェアによるGPUの静的分割機能,マルチインスタンスGPU(MIG)を活用した研究を実施した.近年のGPUは非常に高い性能を有しており,単一のワークロードではGPUの性能を使い切れず,利用率が低下することも生じている.MIGはその要求に対応して,複数の利用者やワークロードにGPUを分割提供する機能であるが,分割の仕方にハードウェア上の大きな制約がある.組合せ最適化問題としては,その制約は好ましくない状況であり,GPUのMIGに対応したクラスタ環境における推論ワークロードの最適化手法を提案した.また,9大学及び2研究所が共同運用するデータ活用社会創成プラットフォームmdxとも連携し,上記の応用環境としてのコンテナ基盤の整備や研究環境としての実用上の問題点の洗い出しも進めている.具体的には,スパコンに近いハードウェア特性を活かした高性能Kubernetes環境を自動展開するk8s-configsの整備を継続的に進めている.現在,基本的な基盤環境としての整備はほぼ完了しており,JupyterHubやPostgreSQLといったよりアプリケーションに近い部分の自動展開を進めている.
This year, the research on the formation of multiple computers in the environment has been carried out. In recent years, deep machine learning and inference have been studied extensively in the field of special applications (Gandiva, Tiresias, Themis, Pollux, etc.). Mechanical learning in recent years has become a major focus of attention, and the point of view of the implementation of the meaning. This study was conducted on the basis of deep mechanical learning and inference. In this study, NVIDIA's latest generation of GPU has been implemented with the ability to partition the GPU and use the GPU (MIG). In recent years, GPU performance has been very high, and the utilization rate has been low. MIG has been required to provide a large number of functions for GPU segmentation. Combination optimization problems and constraints are not good conditions, GPU's MIG is not suitable for the environment, inference is not suitable for optimization methods proposed. 9 universities and 2 research institutes jointly use the social innovation platform to connect with each other, noting the application environment, the development of the base, the research environment, and the implementation of the problem point. Specifically, the K8s-config system is configured to automatically deploy the K8s-config system and to enable the high performance Kubernetes environment. Now, the basic base disk environment is ready to go. JupyterHub is ready to go.
项目成果
期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
マルチインスタンスGPUを用いた推論ワークロードのクラスタスケジューリング
使用多实例 GPU 的推理工作负载的集群调度
- DOI:
- 发表时间:2023
- 期刊:
- 影响因子:0
- 作者:三井郁央;杉木章義
- 通讯作者:杉木章義
Building a Software Platform towards Data Utilization Society
构建面向数据利用社会的软件平台
- DOI:10.24669/jacn.26.1_1
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:杉木 章義;田浦 健次朗;伊達 進;建部 修見;空閑 洋平;竹房 あつ子;藤原 一毅;合田 憲人;中村 遼;塙 敏博;鈴村 豊太郎;宮本 大輔
- 通讯作者:宮本 大輔
高水準なマイクロサービス層における複数ドメインを連携させたインタークラウドHPC環境実現の検討
在高层微服务层实现链接多个域的云间HPC环境的思考
- DOI:
- 发表时间:2021
- 期刊:
- 影响因子:0
- 作者:Hossen Manik Md. Motaleb;Md. Rokibul Alam Kazi;Morimoto Yasuhiko;杉木 章義
- 通讯作者:杉木 章義
データ利活用に向けた仮想化プラットフォームmdxの基本性能評価
虚拟化平台mdx数据利用的基本性能评估
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Afanasyev Ilya;Komatsu Kazuhiko;Lichmanov Dmitry;Voevodin Vadim;Kobayashi Hiroaki;塙 敏博,中村 遼,空閑 洋平,杉木 章義,田浦 健次朗
- 通讯作者:塙 敏博,中村 遼,空閑 洋平,杉木 章義,田浦 健次朗
データ利活用に向けた高性能Kubernetes環境構築の検討
考虑构建高性能的Kubernetes数据利用环境
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Issei Fukamizu;Kazuhiko Komatsu;Masahito Kumagai;Hironori Miyazawa;Takashi Furusawa;Satoru Yamamoto;Hiroaki Kobayashi;杉木 章義
- 通讯作者:杉木 章義
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
杉木 章義其他文献
クドゥワン川(ジャワ島中部ソロ川支川)の河川水質と流域特性
库杜昂河(爪哇中部梭罗河的支流)的河流水质和流域特征
- DOI:
- 发表时间:
2010 - 期刊:
- 影响因子:0
- 作者:
奥畑 聡仁;杉木 章義;加藤 和彦;飯泉佳子・横山繁樹・内田諭・小林慎太郎・Suci - 通讯作者:
飯泉佳子・横山繁樹・内田諭・小林慎太郎・Suci
クラウド基盤ソフトウェアにおけるFailure-Oblivious Computing 導入の検討
考虑在云基础设施软件中引入故障忽略计算
- DOI:
- 发表时间:
2012 - 期刊:
- 影响因子:0
- 作者:
杉木 章義;奥畑 聡仁;加藤 和彦 - 通讯作者:
加藤 和彦
ユーザ信頼性を考慮したマルチタスク学習によるデマ検知
考虑用户可靠性的使用多任务学习的恶作剧检测
- DOI:
- 发表时间:
2023 - 期刊:
- 影响因子:0
- 作者:
Komatsu Kazuhiko;Miyazawa Hironori;Yiran Cheng;Sato Masayuki;Furusawa Takashi;Yamamoto Satoru;Kobayashi Hiroaki;スルタナレベッカ,大橋剛介;杉木 章義;QU LIJING,成 凱 - 通讯作者:
QU LIJING,成 凱
放射線災害医療:福島原発事故の教訓から
辐射灾难医学:福岛核电站事故的教训
- DOI:
- 发表时间:
2012 - 期刊:
- 影响因子:0
- 作者:
奥畑 聡仁;杉木 章義;加藤 和彦;飯泉佳子・横山繁樹・内田諭・小林慎太郎・Suci;阿部修司;山下俊一 - 通讯作者:
山下俊一
杉木 章義的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('杉木 章義', 18)}}的其他基金
学術研究基盤のマイクロサービス化・ファブレス化の推進に向けた研究
旨在促进微服务和无晶圆厂学术研究基础设施的研究
- 批准号:
24K14888 - 财政年份:2024
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
相似海外基金
開始時刻に依存する処理時間を考慮したフレキシブルジョブショップのスケジューリング
灵活的作业车间调度考虑到加工时间取决于开始时间
- 批准号:
24K07949 - 财政年份:2024
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
Deployment of Scalable System Software for Machine Learning Technology to Saving Computing Resources
部署机器学习技术的可扩展系统软件以节省计算资源
- 批准号:
23H03369 - 财政年份:2023
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
自動走行搬送ロボット・作業者協調作業のためのリアクティブ・スケジューリング
自主运输机器人和工人协作工作的反应式调度
- 批准号:
23K04278 - 财政年份:2023
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
交通需要の集中時にも渋滞なく運用できる高効率な近未来交通サービス
一种高效的近期交通服务,即使在交通需求集中时期也可以在不拥堵的情况下运行。
- 批准号:
23H03385 - 财政年份:2023
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
精密形状の自動直接創成を実現するCAM-CNC統合ダイレクトFJPシステムの開発
开发CAM-CNC一体化直接FJP系统,实现自动直接创建精密形状
- 批准号:
22K14160 - 财政年份:2022
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
病院の手術室に関するスケジューリング問題の解法の研究とその実装
医院手术室调度问题解决方案的研究与实现
- 批准号:
22K04610 - 财政年份:2022
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
IoTデバイスと連携するリアクティブスケジューリング
适用于物联网设备的反应式调度
- 批准号:
22K04582 - 财政年份:2022
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
リアルタイムに生産最適化を実現できるスマート生産システムの開発
开发可实时实现生产优化的智能生产系统
- 批准号:
22K04596 - 财政年份:2022
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
低遅延かつ高品質な映像視聴を実現するライブ配信技術
直播分发技术,实现低延迟、高质量视频观看
- 批准号:
22H03587 - 财政年份:2022
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
変化に柔軟なスケジューリング手法の開発
开发灵活应对变化的调度方法
- 批准号:
21K11772 - 财政年份:2021
- 资助金额:
$ 1.25万 - 项目类别:
Grant-in-Aid for Scientific Research (C)