如何突破Decoder性能瓶颈？揭秘FasterTransformer的原理与应用
Encoder模块在TeslaV100的结果超参数设置：12 layers，32 sequence length，12 heads，64 size per head，under FP 16结果如上图，batch size从100逐步增加到500的过程中，FasterTransfo
提速10.7倍！这个端侧推理引擎一开源，机器人本体跑大模型终于不卡了
来源：市场资讯（来源：机器之心）编辑｜Panda9 月的第二周，具身圈很热闹。8 日，松延动力发布 HERON-World Model；9 日，智元一口气放出 AGILE 2.0 与 GE-Act 2.0；10 日，宇树开源 UnifoLM-WLA-1.
京东智能情感客服“挽救”生命“可信赖的AI”用温暖前行
珍视生命，京东智联云技术团队结合自身的技术优势，快速研发并上线 “生命通道”，实现全平台自动识别用户极端负面情绪，进行心理干预，同时启动应急预警，必要时及时采取线下介入。
字节跳动提出高性能 transformer 推理库，获 IPDPS 2023 最佳论文奖
针对自然语言处理常见的可变长输入，论文提出了一套优化算法，这些算法在保证运算正确性的前提下，成功避免了传统实现中的冗余运算，实现了端到端的推理过程的大幅优化。
阿里推出"通义"大模型系列，核心模型开源开放，已应用于200多个场景
智东西9月2日报道，在阿里巴巴达摩院今日主办的世界人工智能大会“大规模预训练模型”主题论坛上，达摩院副院长周靖人发布阿里巴巴最新“通义”大模型系列，并宣布相关核心模型向全球开发者开源开放。
别再只盯 GPU 利用率：算力平台真正该衡量什么？
NVIDIA 对 GPU utilization 的定义很直接:在采样周期内，至少有一个计算任务正在 GPU 上执行的时间占比。NVIDIA 的 DCGM 文档也明确提醒，SM 处于 active 状态时，warp 可能只是在等待内存请求;
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在 2025 年 InfoQ 举办的 QCon 全球软件开发大会 上，华为工程师郑加利分享了《昇腾 MindSpeed:分布式训练加速库的创新实践与突破》，他介绍了昇腾 MindSpeed 分布式训练加速库通过在计算、通信以及显存等多个维度上的优化措施，来加速模型的训练过程，有效提升了训练效率，为大模型的训练提供了强有力支持的实践案例。
提速10.7倍！这个端侧推理引擎一开源，机器人本体跑大模型不卡了
第一个问题，APXInf 交出的答案是一组数字:无需改变 π0.5 模型本身，通过端到端的全栈优化，在 Thor 芯片 FP8 配置下把推理延迟从 278ms 降至 26ms，端到端提速约 10.7 倍，38.46Hz 的频率让机器人控制进入实时区间。
速度超快！字节跳动开源序列推理引擎LightSeq
2017 年 Google 提出了 Transformer 模型，之后在它基础上诞生了许多优秀的预训练语言模型和机器翻译模型，如 BERT 、GPT 系列等，不断刷新着众多自然语言处理任务的能力水平。