【transformers】一、
Transformers 是一种基于自注意力机制（Self-Attention Mechanism）的深度学习模型，最初由 Google 的研究团队在 2017 年的论文《Attention Is All You Need》中提出。与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformers 模型完全依赖于注意力机制来捕捉序列中的长距离依赖关系，从而在自然语言处理（NLP）任务中表现出色。
Transformers 的核心思想是通过自注意力机制，让模型在处理每个词时，能够关注到整个句子中的其他词，从而更好地理解上下文。此外，Transformer 模型还引入了位置编码（Positional Encoding），以保留输入序列中的顺序信息。
由于其并行计算能力强、训练效率高、可扩展性强等优点，Transformers 被广泛应用于各种 NLP 任务，如机器翻译、文本摘要、问答系统、情感分析等。基于 Transformer 架构的模型，如 BERT、GPT、T5 等，已经成为当前 NLP 领域的主流模型。
二、表格展示：
| 特性 | 描述 |
| 提出时间 | 2017 年 |
| 提出机构 | Google Research |
| 论文名称 | Attention Is All You Need |
| 核心机制 | 自注意力机制（Self-Attention） |
| 优点 | - 并行计算能力强 - 可处理长距离依赖 - 易于扩展 |
| 缺点 | - 参数量大，计算资源需求高 - 对数据质量要求较高 |
| 应用领域 | 机器翻译、文本摘要、问答系统、情感分析、语音识别等 |
| 典型模型 | BERT、GPT、T5、RoBERTa、DistilBERT 等 |
| 位置编码 | 用于保留输入序列中的顺序信息 |
| 与 RNN/CNN 的区别 | 不依赖递归结构，无需按顺序处理输入，更适合大规模并行计算 |
三、总结：
Transformers 模型的出现标志着自然语言处理技术的一次重大突破。它不仅提高了模型的性能，还为后续的预训练语言模型奠定了基础。随着技术的不断发展，Transformers 已经成为现代 AI 系统中不可或缺的一部分，广泛应用于各种智能应用中。