|
- 一文了解Transformer全貌（图解Transformer） - 知乎
网络上关于Transformer的解析文章非常大，但本文将力求用浅显易懂的语言，为大家深入解析Transformer的技术内核。 前言 Transformer是谷歌在2017年的论文《Attention Is All You Need》中提出的，用于NLP的各项任务，现在是谷歌云TPU推荐的参考模型。
- 如何最简单、通俗地理解Transformer？ - 知乎
Transformer 与 RNN 不同，可以比较好地并行训练。 Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。 Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
- Transformer模型详解（图解最完整版） - 知乎
Transformer 与 RNN 不同，可以比较好地并行训练。 Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。 Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
- MoE和transformer有什么区别和联系？ - 知乎
01 Transformer：像“万能翻译官”的神经网络 Transformer 是当今AI大模型（如ChatGPT）的核心架构，最初用于机器翻译，核心是自注意力机制（Self-Attention），能同时分析句子中所有词的关系，而非像传统RNN那样逐词处理。
- VAE、GAN 这种生成模型和 transformer 有什么区别？ - 知乎
Transformer 是模型结构，和 CNN RNN GNN 这些是并列的。 VAE GAN 是生成模型的范式，讲的是如何训练出可以从中采样的模型。
- transformer模型为什么要叫transformer？ - 知乎
顺藤摸瓜可以看出，GTP 的核心是 Transformer，而 Transformer 的核心则是“自注意力机制”（ Self-Attention）。那么这个“自注意力机制”又是什东西呢？让我们用语言翻译领域的几个简单易懂的例子来讲解一下。 2 Transformer 的核心 Self-Attention 首先，看下面这两个
- 如何从浅入深理解 Transformer？ - 知乎
学习路线应该是怎么样的？后续进阶又该看哪些论文？开始看论文以来一直有听说过 鼎鼎大名的 Transformer…
- 如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
每一个Swin Transformer Block x2 的意思是由1个W-MSA（Window Multi Self-Attention）和1个SW-MSA（Shifted Window Multi Self-Attention）组成。x6 顾名思义就是3组W-MSA和SW-MSA组成。 Swin Transformer模型结构2：蓝色都是模型的一些网络结构层。立方体表示一个Tensor。Swin对Tensor的大小做了变化。
|
|
|