同样的Transformer模型，为什么有不同的AI能力
一、各家大模型底层原理，是否都源自谷歌论文？1.
左边理解 右边生成，Transformer是怎么一步步缩成今天这个模样的
学完一遍 Attention 之后，我以为自己把 Transformer 摸透了。
学 AI 第十二天，我才明白 GPT 为什么坚持 decoder-only
学 AI 第十二天，我开始理解 GPT 为什么会走向 decoder-only。前一天讲 BERT 和 GPT 的差异时，我只记住了一个粗略判断：BERT 更像阅读理解器。GPT 更像续写生成器。
从 Tokenizer 到 Next Token，穿透数据流理解Transformer底层逻辑
很多人啃大模型技术的时候都会陷入同一种困境，单独看每个模块都能看懂，背得出缩放点积注意力公式，能说出多头注意力、残差连接、层归一化这些名词，但只要把整个链路串起来，就会出现断层。
Transformer 架构基本原理：Encoder、Decoder 和 Attention 在做什么
一、一句话讲清 TransformerTransformer 是一种处理序列数据的神经网络架构。它最关键的设计是 Self-Attention：让一句话里的每个 token 都能直接和其他 token 建立联系，再按重要程度聚合信息。这和 RNN 的思路完全不同。
Decoder-only 架构是怎么工作的
一句话：Decoder-only（代表：GPT 系、LLaMA 系、DeepSeek）是自回归（autoregressive）的生成模型——它只靠「因果自注意力（causal self-attention）」一次只看自己及左边，从 开始一个字一个字地续写，每生成一个词
DeepSeek“推倒重来”
这也就是说，V4在结构上积累的训练配方、优化技巧、工程适配，到了V4.1这里，大部分都作废了。现在的DeepSeek早就不是一家小作坊了，而是一个拥有数百名员工的企业，想要重起一个新的结构不仅费时，还很费力。
Transformer是什么？为什么它能成为大模型的核心架构？
现在我们使用的ChatGPT、DeepSeek、通义千问、豆包等大语言模型，背后都有一个非常重要的技术基础：Transformer。很多人知道大模型参数量有几十亿、几百亿，知道模型需要GPU才能运行，但不一定了解一个问题：大模型究竟是如何理解一句话的？
AI亲手改写Transformer架构，DeepSeek“自改”暴涨7分，这怎么看
最近AI圈里流传一个说法：DeepSeek让自己动手改了Transformer架构，数学推理分数一下子涨了7分。标题看着挺炸，但先把事情掰开看清楚——这7分不是DeepSeek官方发布了什么“神级新模型”，而是一家叫doubleAI的研究机构做的一组实验。