Transformer 模型为何选择 LayerNorm 而不是 BatchNorm？
LayerNorm vs BatchNorm。你有没有想过神经网络训练的时候数据要穿越几十层甚至上百层的计算，每穿过一层数字就被乘一次加一次激活一次，慢慢的原本好好的数据开始变得又大又乱，有的值冲到了一万，有的缩到了零点零零零一，梯度开始失控，模型训练越来越难。
为什么反向传播改变了神经网络？
为什么反向传播改变了神经网络?一个诞生于1970年代的数学技巧，为什么要等上十几年，才等到它改变世界的机会?
为什么Transformer选用LayerNorm而不是BatchNorm？
归一化是什么？它与标准化有什么区别？归一化是一种数据预处理技术，通过缩放数据特征到统范围(如0到1或者-1到1)以减少不同特征的量纲差异归一化的主要作用是提高训练稳定性、加快收敛速度、提高模型表现标准化与归一化对比为什么要归一化？1.
一文读懂大模型的心跳：“损失Loss”
你知道AI是怎么“变聪明”的吗？答案藏在一个看似负面的词——Loss。这篇文章用通俗语言讲清楚：损失函数到底是什么，它如何驱动模型学习，又为什么它是所有AI能力的起点。读完，你会对“训练”这件事有全新的理解。什么是Loss？想象⼀下，你正在教⼀个机器⼈下棋。
Transformer模型归一化为何使用layer norm，而不是batch norm？
transformer经过前面将近20期的视频与图文分享，我们先后介绍了Transformer模型的基础框架，word-embedding与positional encoding 位置编码，word-embeddingshift right input以及pad mask 与se
一文帮你搞懂transformer网络结构
本文重点本文将介绍一种新的神经网络结构transformer，Transformer这个网络结构来源于谷歌的《attention is all your need》论文，transformer模型可以理解为encoder+decoder+attention，它采用self-att
EdgeBoard中“活灵活现”的算子
背景介绍数据、算法和算力是人工智能技术的三大要素。其中，算力体现着人工智能(AI)技术具体实现的能力，实现载体主要有CPU、GPU、FPGA和ASIC四类器件。CPU基于冯诺依曼架构，虽然灵活，却延迟很大，在推理和训练过程中主要完成其擅长的控制和调度类任务。
批归一化简明图解【Batch Norm】
Batch Norm（批归一化） 是现代深度学习实践者工具包的重要组成部分。 在批归一化论文中引入它后不久，它就被认为在创建可以更快训练的更深层次神经网络方面具有变革性。Batch Norm 是一种神经网络层，现在在许多架构中普遍使用。