Codon language embeddings provide strong signals for protein engineering
Codon language embeddings provide strong signals for protein engineering
复制标题
密码子语言嵌入为蛋白质工程提供了强有力的信号
DOI：
10.1101/2022.12.15.519894
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Outeiral C
中科院分区：
文献类型：
--
作者：
Outeiral C
来自深度语言模型的蛋白质表示在计算蛋白质工程的许多任务中产生了最先进的性能。近年来，进展主要集中在参数计数上，最近的模型的能力超过了它们训练的数据集的大小。我们发现，在密码子而不是氨基酸序列上训练的大型语言模型提供了高质量的表示，在各种任务中表现优于可比的最先进模型。在某些任务中，例如物种识别，蛋白质和转录本丰度预测或熔点估计，我们证明了在密码子上训练的语言模型优于其他所有已发表的蛋白质语言模型，包括一些包含超过50倍的参数。这些结果表明，除了通常研究的规模和模型复杂性之外，生物数据的信息内容为提高生物学中机器学习的能力提供了一个正交方向。
Protein representations from deep language models have yielded state-of-the-art performance across many tasks in computational protein engineering. In recent years, progress has primarily focused on parameter count, with recent models’ capacities surpassing the size of the very datasets they were trained on. Here we propose an alternative direction. We show that large language models trained on codons, instead of amino acid sequences, provide high-quality representations that outperform comparable state-of-the-art models across a variety of tasks. In some tasks, such as species recognition, prediction of protein and transcript abundance or melting point estimation, we show that a language model trained on codons outperforms every other published protein language model, including some that contain over 50 times more parameters. These results indicate that, in addition to commonly studied scale and model complexity, the information content of biological data provides an orthogonal direction to improve the power of machine learning in biology.
登录
查看更多内容
Tranception：利用自回归变压器和推理时间检索进行蛋白质适应性预测
DOI：
--
发表时间：
2022
期刊：
International Conference on Machine Learning
影响因子：
--
作者：
Pascal Notin;M. Dias;J. Frazer;Javier Marchena;Aidan N. Gomez;D. Marks;Y. Gal
通讯作者：
Y. Gal
影响因子：
5.3
作者：
Marquet C;Heinzinger M;Olenyi T;Dallago C;Erckert K;Bernhofer M;Nechaev D;Rost B
通讯作者：
Rost B
DOI：
10.1093/bioinformatics/bts565
发表时间：
2012-12-01
期刊：
Bioinformatics (Oxford, England)
影响因子：
--
作者：
Fu L;Niu B;Zhu Z;Wu S;Li W
通讯作者：
Li W
变异效应预测捕捉了深度突变扫描实验的某些方面
影响因子：
3
作者：
Jonas Reeb;T. Wirth;B. Rost
通讯作者：
B. Rost
影响因子：
10.7
作者：
Subramanian, Krishnamurthy;Payne, Bryan;Feyertag, Felix;Alvarez-Ponce, David
通讯作者：
Alvarez-Ponce, David