Development of a platform for automatic data science by using text information in metadata

利用元数据中的文本信息开发自动数据科学平台

• 批准号: 22K21288
• 负责人: 増田 聡
• 金额: $ 1.83万
• 依托单位: Tokyo City University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-08-31 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K21288/
• 关键词: 時系列データ抽出の自動化; 特徴量エンジニアリング; データサイエンス; テキスト分析; 自然言語処理; ソフトウェア工学

膨大なデータから新たな知見を得る分析はデータサイエンスと呼ばれ、現在その普及は社会的に重要となっている。データサイエンスの主な作業は、(1)データの前処理、(2)分析精度の向上を目的としたデータの特徴量の抽出(特徴量エンジニアリングと言う)、(3)分析のための機械学習モデルの適用から成り、普及を促進する上でこれらの作業の自動化は極めて重要と考えられる。しかしながら、現在もデータサイエンス作業はエキスパートの経験に頼り自動化は進んでいない。本研究では、データサイエンスの作業ステップでより経験が必要とされ自動化の効果が大きい(2)データの特徴量の抽出に着目し、データ項目名やデータ記述など、いわゆるメタデータのテキスト情報から特徴量抽出を自動化する新たな仕組みの開発を目的としている。具体的には、既存のデータサイエンスにおけるデータ記述およびソースコードに対して、自然言語処理やソースコード分析技術を利用し、時系列データの特徴量を抽出が可能な形で再利用する技術を開発する。本年度は、データのテキスト情報から特徴量を抽出する技術の開発を行った。既存のデータサイエンスにおけるソースコードとして、University California San Diego Library Digital Collectionsにある約125万個のjupyter notbook形式のソースコードを用い、時系列(datetime)データを取り扱う命令文を抽出し、「datetime知識データベース」(DTKB)を作成した。また、このDTKBを用い、新たに与えられるデータ項目に対する時系列データ特徴量推薦システムを開発し有効性を確認した。これらの成果を論文にまとめ、国際学会の27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES 2023)に投稿した。

The expansion of new knowledge and analysis of new knowledge and understanding of social development is important. (1) Pre-processing of data processing;(2) Extraction of feature quantity of data processing;(3) Mechanical learning of data processing;(4) Application of data processing;(5) Promotion of data processing;(6) Automation of data processing. Now you can do it automatically. This study aims at the development of a new system for automatic feature extraction from data item names and data description. Specifically, the development of technologies for the utilization and possible reuse of features of existing data sets, data description and data analysis technologies for natural speech processing and data analysis. This year, the development of technology for the extraction of information and features About 1,250,000 existing data sets in the University California San Diego Library Digital Collections are available in the form of Jupyter Notbook, datetime series, datetime knowledge sets (DTKB), and command texts are extracted. This is the first time that a person's name has been used. 27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES 2023)