Transformer开山论文惊天「翻车」，图与代码不一致，神秘Bug看

今天，AI 圈被一个惊天「翻车」刷屏了。

谷歌大脑的 NLP 奠基之作、提出 Transformer 架构的开山鼻祖级论文 《Attention Is All Your Need》 中的图，被网友扒出与代码并不一致。

自 2017 年问世以来，Transformer 已经成为 AI 领域的基石王者。就连大红大紫的 ChatGPT 真正的幕后大佬也是它。

2019 年，谷歌还专门为它申请了专利。

归宗溯源，现在各类层出不穷的 GPT，都起源于这篇 17 年的论文。

据 Google Scholar，截止目前，这篇奠基之作已有 7 万多次的引用。

所以，ChatGPT 的奠基石都不稳了？

作为「开山鼻祖」的论文，结构图竟是错的？

Lightning AI 创始人、机器学习研究者 Sebastian Raschka 发现，这篇论文中 Transformer 的图是错误的。

图中被圈出的地方，LayerNorms 是在注意力和全连接层之后。在残差块之间放置层归一化，会导致输出层附近参数的预期梯度很大。

而且，这也与代码不一致。

不过有网友指出，Noam shazeer 在几周后对代码进行了纠正。

随后，Sebastian 称，在论文 Layer Normalization in the Transformer Architecture 中，Pre-LN 表现得更好，可以解决梯度问题。

这是很多或者大多数架构在实践中所采用的，但它可能导致表征崩溃。

如果层归一化在注意力和全连接层之前被放置在残差连接之中，就会实现更好的梯度。

Sebastian 提出，虽然关于使用 Post-LN 或 Pre-LN 的讨论仍在进行中，但也有一篇新论文提议把二者结合起来。

在这种双残差 Tranformer 中，表征崩溃和梯度消失的问题都得到了解决。

网友热议

针对论文中的疑点，有网友指出:中间不是已经有了 PreLN 和 PostLN 了吗？

Sebastian 回答说，自己也觉得有点奇怪。或许 2nd LN 指的是最后一个输出层，而不是每个 transformer 块，但他对此也不确定。

有网友表示:「我们经常遇到与代码或结果不匹配的论文。大多数就是出于错误，但有时也会让人很奇怪。而这篇论文已经流传甚久了，为什么这种问题此前从没被人提出过，这真的很奇怪。」

有网友表示，已经有论文在 NormFormer 中展示了一个不太复杂的架构，而他的团队最近也证实了他们的结果。而 ResiDual 论文没有在任何地方提到 NormFormer，这让人很惊讶。

同时，评论区不断出现网友证实:Transformers 中使用的 LN，与 CNN 中使用的方式并不同。

所以，论文真的存在漏洞，还是乌龙事件？

让我们静观后续。

参考资料: