Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods

深度神经网络内部状态的统计表示及新学习方法的探索

基本信息

项目摘要

昨年度に引き続き、本研究ではRNNやTransformerを対象とし、構文の構造がどのように表現されるかについて調査を行っている。Transformerは、任意の二つの離れた単語間の信号関係を計算するレイヤー(主にアテンション機構と呼ばれる)を積み重ねた構造を持っており、一般的に言ってより優れた言語モデルを構築可能とされているが、理論的な観点からは、RNNが表現できる言語クラスがより大きいとされている。本研究では、特定の言語クラスに属する人工言語からサンプルされた文の集合を訓練データとして使用し、RNNとTransformerの間に存在する性質上の違いについて実験を行った。用いた言語は主にサブレギュラーと呼ばれる、複雑さの階層をもつ言語クラス群からなり、文中に現れた単語の出現の回数や順序、隣接関係を記述可能なクラスである。また、わずかな違いを持つような敵対的テストデータと呼ばれる概念を提唱している。実験をすすめることで、学習モデルが持つ一定の性質が明らかになることが期待される。
Yesterday's annual に lead き 続 き, this study で は RNN や Transformer を like と seaborne し, constitutive の tectonic が ど の よ う に performance さ れ る か に つ い を line っ て survey て い る. Transformer は, arbitrary の つ の from れ た 単 language の signals between masato を calculation す る レ イ ヤ ー (main に ア テ ン シ ョ ン institutions と shout ば れ る) を product み heavy ね た tectonic を hold っ て お り, the general に っ て よ り optimal れ た words モ デ ル を constructs may と さ れ て い る が, theory of な 観 point か ら は, RNN が performance で き る Speech: ラスがよ ラスがよ large る とされて とされて る る. This study で は, specific words の ク ラ ス に genus す る artificial speech か ら サ ン プ ル さ れ た article の collection を training デ ー タ と し て use し, RNN と Transformer の に exist between す る nature の violations い に つ い て be 験 を line っ た. Words with い た は main に サ ブ レ ギ ュ ラ ー と shout ば れ る, complex 雑 さ の class を も つ words ク ラ ス group か ら な り, this paper に now れ た 単 language の order の back several や, 隣 masato is を account may な ク ラ ス で あ る. い ま た, わ ず か な spare を hold つ よ う な enemy of seaborne テ ス ト デ ー タ と shout ば れ る concept を mention sing し て い る. Be 験 を す す め る こ と で, learning モ デ ル が hold つ nature of certain の が Ming ら か に な る こ と が expect さ れ る.

项目成果

期刊论文数量(7)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Learning (k,l)-context-sensitive probabilistic grammars with nonparametric Bayesian approach
使用非参数贝叶斯方法学习 (k,l) 上下文相关概率语法
  • DOI:
    10.1007/s10994-021-06034-2
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    7.5
  • 作者:
    寺田侑司;塚本皓斗;甲斐充彦;Shibata Chihiro
  • 通讯作者:
    Shibata Chihiro
Maximum Likelihood Estimation of Factored Regular Deterministic Stochastic Languages
因式分解正则确定性随机语言的最大似然估计
構文情報を陽に与えたときの LSTM-RNN による内部表現について
关于显式给出句法信息时 LSTM-RNN 的内部表示
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Shunsuke SUZUKI;Yumi NAKAJIMA;Tsuyoshi MORIYAMA;Maiko SATO,and Satoshi SUZUKI;Yukie AMEMIYA;J. Takayama and Y. Arase;須子統太,安田豪毅,堀井俊佑,小林学;岡本(柴田) 千尋,内海 慶,持橋 大地
  • 通讯作者:
    岡本(柴田) 千尋,内海 慶,持橋 大地
超球面上への分布エンコーディングを用いた文書分類
在超球面上使用分布式编码进行文档分类
How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text
  • DOI:
    10.18653/v1/2020.coling-main.356
  • 发表时间:
    2020-10
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Chihiro Shibata;Kei Uchiumi;D. Mochihashi
  • 通讯作者:
    Chihiro Shibata;Kei Uchiumi;D. Mochihashi
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

柴田 千尋其他文献

階層化Pitman-Yor過程を用いた文脈を考慮した確率文脈自由文法の推定-分布学習の実データへの適用にむけて
使用分层 Pitman-Yor 过程考虑上下文的​​概率上下文无关语法估计 - 面向分布学习在实际数据中的应用
  • DOI:
  • 发表时间:
    2014
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Tomonori Fujiwara;Masao Yamagishi;Isao Yamada;Yugo Murawaki;柴田 千尋
  • 通讯作者:
    柴田 千尋
ブタパターン認識受容体遺伝子型と抗病性関連形質との関連性
猪模式识别受体基因型与抗病性相关性状之间的关联
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    一関 可純;上西 博英;松本 敏美;岡 希;高森 広典;門脇 宏;柴田 千尋;鈴木 英作;岡村 俊宏;北澤 春樹;麻生 久;佐藤 正寛;鈴木 啓一;上本 吉伸
  • 通讯作者:
    上本 吉伸

柴田 千尋的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('柴田 千尋', 18)}}的其他基金

Research on AI-based fetal monitoring and perinatal information system
基于人工智能的胎儿监护及围产期信息系统研究
  • 批准号:
    23K11325
  • 财政年份:
    2023
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)

相似国自然基金

基于生物学引导MRI-Transformer模型评估三阴性乳腺癌抗PD-1/PD-L1免疫治疗反应的研究
  • 批准号:
    QN25H180017
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
建立新型Transformer架构算法提升人工智能诊断对心电图P波的定位与识别
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
面向Transformer大模型推理任务的加速计算关键技术研究
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于二维余弦卷积算子及时频 Transformer的癫痫发作检测及类型辨识 一体化方法研究
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
基于多模态Transformer的胃低级别上皮内瘤变诊断与癌变风险预测研究
  • 批准号:
    JCZRYB202500849
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于U-net和Transformer的深度学习模型构建非增强CT急性缺血性脑卒中核心梗死区可视化分割系统
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于Transformer算法下甲状旁腺消融术后疗效的超声图像预测模型构建及验证
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于Transformer端到端的多模态景象匹配飞行器快速定位方法研究
  • 批准号:
    2025JJ60407
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于Transformer深度学习模型预测脑卒中取栓术后脑水肿风险
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于Transformer模型的基因调控网络推断与关键调控子挖掘方法研究
  • 批准号:
    MS25F020107
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目

相似海外基金

Transformerを用いた多次元時系列データの異常予兆検知
使用 Transformer 检测多维时间序列数据中的异常符号
  • 批准号:
    24K20777
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
Transformerに基づくインテリジェント無線通信システム
基于Transformer的智能无线通信系统
  • 批准号:
    24K00888
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
主体的学びを促すICEモデルに基づく大学授業設計手法のTransformerを用いた実践開発
使用 Transformer 进行实际开发,Transformer 是一种基于 ICE 模型的大学课程设计方法,可促进自主学习
  • 批准号:
    24K06137
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
RII Track-4:@NASA: Automating Character Extraction for Taxonomic Species Descriptions Using Neural Networks, Transformer, and Computer Vision Signal Processing Architectures
RII Track-4:@NASA:使用神经网络、变压器和计算机视觉信号处理架构自动提取分类物种描述的字符
  • 批准号:
    2327168
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Standard Grant
Collaborative Research: CIF:Medium:Theoretical Foundations of Compositional Learning in Transformer Models
合作研究:CIF:Medium:Transformer 模型中组合学习的理论基础
  • 批准号:
    2403074
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Standard Grant
Collaborative Research: CIF:Medium:Theoretical Foundations of Compositional Learning in Transformer Models
合作研究:CIF:Medium:Transformer 模型中组合学习的理论基础
  • 批准号:
    2403075
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Standard Grant
Binary Vision Transformer の専用ハードウェアに関する研究
二元视觉Transformer专用硬件研究
  • 批准号:
    24K02912
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Transformerのための高効率ヘテロジニアスカスタムアクセラレータ基盤
Transformer高效异构定制加速器基础
  • 批准号:
    24K02994
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Transformer-based Framework for Multi-objective Reinforcement Learning using Hierarchical Policies
使用分层策略的基于 Transformer 的多目标强化学习框架
  • 批准号:
    24K20843
  • 财政年份:
    2024
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
Collaborative Research: A Solar-Powered Aerial Transformer for Enhanced Mobility and Endurance
合作研究:增强机动性和耐用性的太阳能空中变压器
  • 批准号:
    2334994
  • 财政年份:
    2023
  • 资助金额:
    $ 2.91万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了