查看“︁Transformer模型”︁的源代码

{{noteTA
|G1=IT
|1=zh-cn:通过;zh-tw:透過;
|2=zh-cn:信息;zh-tw:資訊;
}}
[[File:Transformer,_full_architecture.png|thumb|Transformer架构图，左边为编码器，右边为解码器。注：图中采用前向层归一化，与原2017年原论文采用后向层归一化不同]]
{{机器学习导航栏|Artificial neural network}}
'''Transformer模型'''（直译为“变换器”）是一种采用[[注意力机制|注意力机制]]的[[深度学习]]模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于[[自然语言处理]]（NLP）与[[计算机视觉]]（CV）领域。<ref>{{Cite web|title=Transformer in CV|url=https://towardsdatascience.com/transformer-in-cv-bbdb58bf335e|author=He|date=31 December 2021|first=Cheng|work=Transformer in CV|publisher=Towards Data Science|access-date=2022-06-08|archive-date=2023-04-16|archive-url=https://web.archive.org/web/20230416160902/https://towardsdatascience.com/transformer-in-cv-bbdb58bf335e?gi=78319b60873f|dead-url=no}}</ref>

与[[循环神经网络]]（RNN）一样，Transformer模型旨在处理自然语言等顺序输入数据，可应用于[[统计机器翻译|翻译]]、文本摘要等任务。而与RNN不同的是，Transformer模型能够一次性处理所有输入数据。注意力机制可以为输入序列中的任意位置提供上下文。如果输入数据是自然语言，则Transformer不必像RNN一样一次只处理一个单词，这种架构允许更多的[[并行计算]]，并以此减少训练时间。<ref name=":0">{{cite arXiv|last8=Polosukhin|first8=Illia|last7=Kaiser|first7=Lukasz|last6=Gomez|first6=Aidan N.|last5=Jones|first5=Llion|last4=Uszkoreit|first4=Jakob|last3=Parmar|first3=Niki|last2=Shazeer|first2=Noam|last1=Vaswani|first1=Ashish|date=2017-06-12|title=Attention Is All You Need|eprint=1706.03762|class=cs.CL}}</ref>

Transformer模型于2017年由[[谷歌大脑]]的一个团队推出<ref name=":0" />，现已逐步取代[[长短期记忆]]（LSTM）等RNN模型成为了NLP问题的首选模型。<ref name="wolf2020">{{Cite book|last=Wolf|first=Thomas|last2=Debut|first2=Lysandre|last3=Sanh|first3=Victor|last4=Chaumond|first4=Julien|last5=Delangue|first5=Clement|last6=Moi|first6=Anthony|last7=Cistac|first7=Pierric|last8=Rault|first8=Tim|last9=Louf|first9=Remi|title=Transformers: State-of-the-Art Natural Language Processing|year=2020|pages=38–45|doi=10.18653/v1/2020.emnlp-demos.6}}</ref>并行化优势允许其在更大的数据集上进行训练。这也促成了[[BERT]]、[[GPT (语言模型)|GPT]]等预训练模型的发展。<ref>{{cite arxiv |last1=Devlin |first1=Jacob |last2=Chang |first2=Ming-Wei |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina |title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |date=2018-10-11 |eprint=1810.04805v2|class=cs.CL }}</ref><ref>{{Cite web |url=http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html |title=Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing|website=Google AI Blog |language=en |access-date=2019-11-27 |archive-date=2021-01-13 |archive-url=https://web.archive.org/web/20210113211449/https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html |dead-url=no}}</ref> 这些系统使用了[[维基百科]]、{{le|Common Crawl}}等大型语料库进行训练，并可以针对特定任务进行微调。<ref name=":6">{{Cite web|title=Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing|url=http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html|access-date=2019-08-25|work=Google AI Blog|archive-date=2021-01-13|archive-url=https://web.archive.org/web/20210113211449/https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html|dead-url=no}}</ref><ref name=":7">{{Cite web|title=Better Language Models and Their Implications|url=https://openai.com/blog/better-language-models/|access-date=2019-08-25|date=2019-02-14|work=OpenAI|archive-date=2020-12-19|archive-url=https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/|dead-url=no}}</ref>

== 背景 ==
在Transformer模型之前，大多数最先进的NLP系统都依赖于诸如[[長短期記憶|LSTM]]、{{le|门控循环单元|Gated recurrent unit}}（GRU）等门控RNN模型，并在此基础上增加了[[注意力机制]]。Transformer正是在注意力机制的基础上构建的，但其没有使用RNN结构，这表明仅依靠注意力机制就能在性能上比肩加上了注意力机制的RNN模型。

=== 顺序处理 ===
[[RNN]]模型按顺序处理每一个标记（token）并维护一个状态向量，其中包含所有已输入数据的表示。如要处理第<math display="inline">n</math>个标记，模型将表示句中到第<math display="inline">n-1</math>个标记为止的状态向量与最新的第<math display="inline">n</math>个标记的信息结合在一起创建一个新的状态向量，以此表示句中到第<math display="inline">n</math>个标记为止的状态。从理论上讲，如果状态向量不断继续编码每个标记的上下文信息，则来自一个标记的信息可以在序列中不断传播下去。但在实践中，这一机制是有缺陷的：[[梯度消失问题]]使得长句末尾的模型状态会缺少前面标记的精确信息。此外，每个标记的计算都依赖于先前标记的计算结果，这也使得其很难在现代深度学习硬件上进行并行处理，这导致了RNN模型训练效率低下。

=== 自注意力机制 ===
[[注意力机制]]解决了上述这些问题。这一机制让模型得以提取序列中任意先前点的状态信息。注意力层能够访问所有先前的状态并根据学习到的相关性度量对其进行加权，从而提供相距很远的标记的相关信息。

[[翻译]]是一个能够突显[[注意力机制]]优势的例子，其中上下文对于句子中单词的含义至关重要。例如在一个将英语翻译为法语的系统中，法语输出的第一个词很可能取决于英语输入的前几个词。然而在经典的LSTM模型中，为了产生法语输出的第一个单词，模型需要访问处理完最后一个英语单词后得到的状态向量。理论上这个向量包含了整个英语句子的信息，从而为模型提供所有必要的知识。然而在实践中，LSTM通常无法很好地保存这些信息。可以通过添加[[注意力机制]]来解决这个问题：解码器可以访问每个英语输入单词的状态向量，而不仅仅是最后一个单词。同时模型可以学习注意力权重，这些权重决定了对每个英语输入状态向量的关注程度。

在RNN模型中添加[[注意力机制]]能提高模型的性能。而Transformer架构的发展表明，[[注意力机制]]本身就足够强大，并且不需要像RNN模型一样再对数据进行顺序循环处理。Transformer模型采用了没有RNN模型的[[注意力机制]]，它能够同时处理所有标记并计算它们之间的注意力权重。由于注意力机制仅使用来自之前层中其他标记的信息，因此可以并行计算所有标记以提高训练速度。

== 架构 ==

=== 输入 ===
输入文本使用[[字节对编码]]以进行标记化，每个标记通过[[词嵌入]]转换为向量。然后，将标记的位置信息添加到嵌入向量中。

=== 编码器-解码器架构 ===
与早期的[[seq2seq模型]]一样，原始的Transformer模型使用'''编码器-解码器'''（encoder–decoder）架构。编码器由逐层迭代处理输入的编码层组成，而解码器则由对编码器的输出执行相同操作的解码层组成。

每个编码层的功能是确定输入数据的哪些部分彼此相关。它将其编码作为输入再传递给下一个编码层。每个解码层的功能则相反，读取被编码的信息并使用整合好的上下文信息来生成输出序列。<ref>{{Cite web|title=Sequence Modeling with Neural Networks (Part 2): Attention Models|url=https://indico.io/blog/sequence-modeling-neural-networks-part2-attention-models/|access-date=2019-10-15|date=2016-04-18|work=Indico|archive-date=2020-10-21|archive-url=https://web.archive.org/web/20201021203352/https://indico.io/blog/sequence-modeling-neural-networks-part2-attention-models/|dead-url=no}}</ref>为了实现这一点，每个编码层和解码层都使用了注意力机制。

对于每个输入，注意力会权衡每个其他输入的相关性，并从中提取信息以产生输出。<ref name=":1">{{Cite web|title=The Illustrated Transformer|url=http://jalammar.github.io/illustrated-transformer/|access-date=2019-10-15|author=Alammar|first=Jay|work=jalammar.github.io|archive-date=2020-10-18|archive-url=https://web.archive.org/web/20201018061610/https://jalammar.github.io/illustrated-transformer/|dead-url=no}}</ref>每个解码层都包含一个额外的注意力机制，它会在从编码层提取信息之前先从之前解码器的输出中提取信息。

编码层和解码层都有一个[[前馈神经网络]]用于对输出进行额外处理，并包含残差连接和层归一化步骤。<ref name=":1" />

=== 缩放点积注意力 ===
Transformer模型的基本构建单元是缩放点积注意力（scaled dot-product attention）单元。当一个句子被传递到一个Transformer模型中时，可以同时计算所有标记互相之间的注意力权重。注意力单元为上下文中的每个标记生成嵌入，其中包含有关标记本身的信息以及由注意力权重加权得到的其他相关标记的信息。

对于每个注意力单元，Transformer模型学习三个权重矩阵，分别为查询（query）权重<math>W_Q</math>、键（key）权重<math>W_K</math>以及值（value）权重<math>W_V</math>。对于每个标记<math>i</math>，输入[[词嵌入]]<math>x_i</math>分别与三个权重矩阵相乘以得到查询向量<math>q_i = x_iW_Q</math>、键向量<math>k_i = x_iW_K</math>与值向量<math>v_i=x_iW_V</math>。再使用查询向量和键向量计算注意力权重，即计算<math>q_i</math>和<math>k_j</math>的点积以得到从标记<math>i</math>到标记<math>j</math>的注意力权重<math>a_{ij}</math>。之后再将注意力权重除以向量维度的平方根<math>\sqrt{d_k}</math>以在训练期间稳定梯度，并通过[[softmax函数]]对权重进行归一化。<math>W_Q</math>与<math>W_K</math>的不同意味着注意力是非对称的：如果标记<math>i</math>很关注标记<math>j</math>（即<math>q_i\cdot k_j</math>很大）并不一定意味着标记<math>j</math>也反过来关注标记<math>i</math>（即<math>q_j\cdot k_i</math>可能很小）。对每一个标记<math>i</math>而言，注意力单元的输出是以<math>a_{ij}</math>（标记<math>i</math>到每一个标记的注意力）加权所有标记的值向量得到的加权和。

对所有标记的注意力计算可以表示为使用softmax函数的一个大型矩阵计算，由于可以对矩阵运算速度进行优化，这十分利于训练速度的提升。矩阵<math>Q</math>、<math>K</math>和<math>V</math>可分别定义为第<math>i</math>行是向量<math>q_i</math>、<math>k_i</math> 和<math>v_i</math>的矩阵。

<math>\begin{align}
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\mathrm{T}}{\sqrt{d_k}}\right)V
\end{align}</math>

==== 多头注意力 ====
一组<math>\left( W_Q, W_K, W_V \right)</math>矩阵称为一个注意力头（attention head），Transformer模型中每一层都包含多个注意力头。每个注意力头都表示不同标记相互之间的注意力，而多个注意力头则可以针对不同的“相关性”计算不同的注意力权重。许多注意力头编码的相关性信息是人类可以理解的，例如某个注意力头可能主要关注下一个单词，而另一个注意力头则可能主要关注动词与其直接宾语之间的关系。<ref>{{Cite journal |last=Clark |first=Kevin |last2=Khandelwal |first2=Urvashi |last3=Levy |first3=Omer |last4=Manning |first4=Christopher D. |date=August 2019 |title=What Does BERT Look at? An Analysis of BERT's Attention |url=https://www.aclweb.org/anthology/W19-4828 |journal=Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP |location=Florence, Italy |publisher=Association for Computational Linguistics |page=276–286 |doi=10.18653/v1/W19-4828 |doi-access=free |access-date=2022-06-08 |archive-date=2020-10-21 |archive-url=https://web.archive.org/web/20201021211357/https://www.aclweb.org/anthology/W19-4828/ |dead-url=no }}</ref>每个注意力头的计算可以并行执行，这使得处理速度得以加快。注意力层的输出被连接起来传递到前馈神经网络层。

=== 编码器 ===
每个编码器由一个自注意力机制和一个前馈神经网络两个主要部分组成。自注意力机制接受来自前一个编码器的输入编码，并计算它们之间相关性的权重以生成输出编码。前馈神经网络则进一步单独处理每个输出编码。然后将这些输出编码作为输入传递给下一个编码器以及解码器。

第一个编码器将输入序列的位置信息和[[词嵌入|嵌入]]作为其输入。位置信息向Transformer模型提供了序列的顺序信息，这是模型中唯一利用这一信息的部分。<ref name=":0" />

编码器是双向的，这意味着当前标记的注意力可以放在之前或之后的标记上。

=== 解码器 ===
每个解码器由一个自注意力机制、一个针对编码器的注意力机制和一个前馈神经网络三个主要部分组成。解码器的功能与编码器类似，但插入了一个额外的注意力机制，它从编码器生成的编码中提取相关信息。这种机制也可以称为编码器-解码器注意力（encoder-decoder attention）。<ref name=":0" /><ref name=":1" />

与第一个编码器一样，第一个解码器也将输出序列的位置信息和嵌入作为其输入。因为模型不能使用当前或未来的输出来预测输出，因此必须对输出序列进行部分屏蔽以防止这种反向信息流。<ref name=":0" />这使得[[自我迴歸模型|自回归]]文本生成成为可能。最后一个解码器之后是最终的[[矩陣乘法|线性变换]]和[[Softmax函数|softmax层]]以产生所有词汇的输出概率。

[[GPT-3|GPT]]是一种仅具有解码器的架构。

=== 替代架构 ===
训练基于Transformer模型的架构可能很昂贵，尤其是对于长输入而言。替代架构包括Reformer模型、ETC/BigBird模型等<ref>{{Cite web|title=Constructing Transformers For Longer Sequences with Sparse Attention Methods|url=https://ai.googleblog.com/2021/03/constructing-transformers-for-longer.html|access-date=2021-05-28|work=Google AI Blog|language=en|archive-date=2021-09-18|archive-url=https://web.archive.org/web/20210918150757/https://ai.googleblog.com/2021/03/constructing-transformers-for-longer.html|dead-url=no}}</ref>，前者可以将计算复杂度从<math>O(N^2)</math>减少为<math>O(N\ln N)</math> ，后者则可以减少到<math>O(N)</math>，其中<math>N</math>表示序列长度。其实现得益于{{le|局部敏感哈希|Locality-sensitive hashing}}与可逆层。<ref>{{Cite web|title=Tasks with Long Sequences – Chatbot|url=https://www.coursera.org/lecture/attention-models-in-nlp/tasks-with-long-sequences-suzNH|work=Coursera|access-date=2022-06-08|archive-date=2020-10-26|archive-url=https://web.archive.org/web/20201026130457/https://www.coursera.org/lecture/attention-models-in-nlp/tasks-with-long-sequences-suzNH|dead-url=no}}</ref><ref>{{Cite web|title=Reformer: The Efficient Transformer|url=http://ai.googleblog.com/2020/01/reformer-efficient-transformer.html|access-date=2020-10-22|work=Google AI Blog|language=en|archive-date=2020-10-22|archive-url=https://web.archive.org/web/20201022210019/https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html|dead-url=no}}</ref>

原始的Transformer模型需要与上下文窗口大小成二次方的内存大小。无注意力Transformer模型（Attention Free Transformer）<ref>{{Cite arXiv|last1=Zhai|title=An Attention Free Transformer|eprint=2105.14103}}</ref>则将对内存的需求减少为线性依赖，同时通过连接链与值保留了Transformer模型的优势。

2020年底推出了用于比较不同Transformer架构的基准测试。<ref>{{Cite arXiv|last1=Tay|title=Long Range Arena: A Benchmark for Efficient Transformers|eprint=2011.04006}}</ref>

== 训练 ==
Transformer模型通常会进行[[自监督学习]]，包括[[無監督學習|无监督]]预训练和[[监督学习|监督]]微调。由于监督微调时使用的带标签训练数据一般比较有限，预训练通常会在比微调时所用的更大的数据集上完成。预训练和微调的任务通常包括：

* [[語言模型|语言建模]]<ref name=":6" />
* 下一句预测<ref name=":6" />
* [[问答系统]]<ref name=":7" />
* [[自然语言理解|阅读理解]]
* [[文本情感分析]]<ref name=":8">{{Cite journal |last=Wang |first=Alex |last2=Singh |first2=Amanpreet |last3=Michael |first3=Julian |last4=Hill |first4=Felix |last5=Levy |first5=Omer |last6=Bowman |first6=Samuel |date=2018 |title=GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding |journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP |location=Stroudsburg, PA, USA |publisher=Association for Computational Linguistics |page=353–355 |arxiv=1804.07461 |doi=10.18653/v1/w18-5446 |s2cid=5034059}}</ref>
* {{le|文本改写|Paraphrasing (computational linguistics)}}<ref name=":8" />

== 应用 ==
Transformer模型在[[自然语言处理]]（NLP）领域取得了巨大成功，例如[[机器翻译]]与[[时间序列]]预测任务。<ref>{{Cite web|title=What is a Transformer?|url=https://medium.com/inside-machine-learning/what-is-a-transformer-d07dd1fbec04|access-date=2019-10-21|author=Allard|date=2019-07-01|first=Maxime|work=Medium|language=en|archive-date=2020-10-17|archive-url=https://web.archive.org/web/20201017233330/https://medium.com/inside-machine-learning/what-is-a-transformer-d07dd1fbec04|dead-url=no}}</ref>包括GPT-2、[[GPT-3]]、[[BERT]]、XLNet与RoBERTa在内的许多预训练模型展示了Transformer模型执行各种NLP相关任务的能力，并有很多潜在实际应用。<ref name=":6" /><ref name=":7" /><ref>{{Cite book|title=XLNet: Generalized Autoregressive Pretraining for Language Understanding|last=Yang, Zhilin Dai, Zihang Yang, Yiming Carbonell, Jaime Salakhutdinov, Ruslan Le, Quoc V.|date=2019-06-19|oclc=1106350082}}</ref>这些应用包括：

* [[机器翻译]]
* {{le|文本摘要|Automatic summarization}}
* [[自然语言生成|文本生成]]
* [[命名实体识别]]<ref name=":9">{{Cite web|title=10 Applications of Artificial Neural Networks in Natural Language Processing|url=https://medium.com/@datamonsters/artificial-neural-networks-in-natural-language-processing-bcf62aa9151a|access-date=2019-10-21|author=Monsters|date=2017-09-26|first=Data|work=Medium|language=en|archive-date=2020-10-17|archive-url=https://web.archive.org/web/20201017202820/https://medium.com/@datamonsters/artificial-neural-networks-in-natural-language-processing-bcf62aa9151a|dead-url=no}}</ref>
* [[序列分析|生物序列分析]]<ref>{{Cite bioRxiv|biorxiv=10.1101/622803|first=Alexander|last=Rives|first2=Siddharth|last2=Goyal|title=Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences}}</ref> <ref>{{Cite journal |last=Nambiar |first=Ananthan |last2=Heflin |first2=Maeve |last3=Liu |first3=Simon |last4=Maslov |first4=Sergei |last5=Hopkins |first5=Mark |last6=Ritz |first6=Anna |year=2020 |title=Transforming the Language of Life: Transformer Neural Networks for Protein Prediction Tasks. |doi=10.1145/3388440.3412467 |s2cid=226283020 |doi-access=free}}</ref> <ref>{{Cite bioRxiv|biorxiv=10.1101/676825|first=Roshan|last=Rao|first2=Nicholas|last2=Bhattacharya|title=Evaluating Protein Transfer Learning with TAPE}}</ref>
* [[计算机视觉|视频理解]]<ref>{{Cite arXiv |title=Is Space-Time Attention All You Need for Video Understanding? |eprint=2102.05095 |last1=Bertasias |last2=Wang |last3=Torresani |year=2021 |class=cs.CV }}</ref>

2020年，Transformer架构（更具体地说是GPT-2）被证明可以通过微调执行下象棋的任务。<ref>{{cite arXiv|last1=Noever|first1=David|last2=Ciolino|first2=Matt|last3=Kalin|first3=Josh|date=2020-08-21|title=The Chess Transformer: Mastering Play using Generative Language Models|class=cs.AI|eprint=2008.04057}}</ref>Transformer模型也已应用于图像处理，其结果可与[[卷积神经网络]]相媲美。<ref>{{cite arXiv|title=An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale|access-date=|website=|eprint=2010.11929|last1=Dosovitskiy|first1=Alexey|last2=Beyer|first2=Lucas|last3=Kolesnikov|first3=Alexander|last4=Weissenborn|first4=Dirk|last5=Zhai|first5=Xiaohua|last6=Unterthiner|first6=Thomas|last7=Dehghani|first7=Mostafa|last8=Minderer|first8=Matthias|last9=Heigold|first9=Georg|last10=Gelly|first10=Sylvain|last11=Uszkoreit|first11=Jakob|last12=Houlsby|first12=Neil|year=2020|class=cs.CV }}</ref><ref>{{cite arXiv|title=Training data-efficient image transformers & distillation through attention|access-date=|website=|eprint=2012.12877|last1=Touvron|first1=Hugo|last2=Cord|first2=Matthieu|last3=Douze|first3=Matthijs|last4=Massa|first4=Francisco|last5=Sablayrolles|first5=Alexandre|last6=Jégou|first6=Hervé|year=2020|class=cs.CV }}</ref>

== 实现 ==
Transformer模型已在[[TensorFlow]]、[[PyTorch]]等标准深度学习框架中实现。

Transformers是由Hugging Face制作的一个库，提供基于Transformer的架构和预训练模型。<ref name="wolf2020" />

== 参见 ==
{{div col|4}}
* [[注意力机制]]
* [[GPT-3]]
* [[BERT]]
* [[悟道预训练模型]]
* [[OpenAI]]
* [[ChatGPT]]
* [[深度学习]]
{{div col end}}

== 参考文献 ==
{{Reflist|2}}

{{Differentiable computing}}
{{生成式人工智能}}

[[Category:人工神经网络]]