Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
复制标题

DOI:
10.48550/arxiv.2303.10512
复制
发表时间:
2023
期刊:
ArXiv
影响因子:
--
通讯作者:
Qingru Zhang;Minshuo Chen;Alexander Bukharin;Pengcheng He;Yu Cheng;Weizhu Chen;Tuo Zhao
Qingru Zhang;Minshuo Chen;Alexander Bukharin;Pengcheng He;Yu Cheng;Weizhu Chen;Tuo Zhao
中科院分区:
其他
文献类型:
--
作者:
Qingru Zhang;Minshuo Chen;Alexander Bukharin;Pengcheng He;Yu Cheng;Weizhu Chen;Tuo Zhao

文献摘要

相似文献

,问题回答和自然语言生成任务。结果表明,Adalora的表现要优于现有方法。
, question answering and natural language generation tasks. Results show that AdaLoRA outperforms existing approaches.