ShwNote

前一段时间听了 Jiaxuan 的讲座，感触还是非常多。其中一条就是 Build In Public。大概意思，就是要在网络上记录自己的学习过程。

展示自己的斜率，而非截距。

一言发生错误

老祖宗传的板子

前两天看到了 OpenBMB 开源的 ForgeKernel，一个让 agent 自动优化算子的工作，在 FlashInfer-Bench（B200）、CANN-Bench (Ascend A3 & 950DT) 上都取得了第一名。这个进步还是很夸张的。笔者之前也参与过算子的竞赛活动，尝试过用 AI 自己迭代写算子，但是没能取得很好的成绩，看到这样的工作自然忍不住想学习一下。正好最近在看 PyPTO，就想能不能复现这个工作，使用 PyPTO 的后端。

需要说明的是，官方仓库目前还没有放出开源的 Ascend Agent 框架，本文中提到的实现都是笔者根据论文的描述以及已开源的 NVIDIA 实现模仿实现的，代码质量也是 vibe 质量，欢迎批评指正。

代码可以在这里查看：https://github.com/OpenBMB/ForgeKernel/pull/5

（本篇为观看《芬奇》后的一些感想。推荐大家去看的一部经典电影。即便没看过也不影响阅读）

你信任你正在使用的 AI 吗？

LLM解码长度预测的瓶颈是“随机性天花板”

现有基准把预测器能力和任务难度混为一谈。我们把自回归解码建模为停时随机过程，证明每提示解码长度近似正态，并给出 σ=αμ+b 方差律和误差下界；多种 prefill 预测器都逼近同一边界，在我们看来，问题的系统误差压倒模型误差。

我们呼吁新的数据集包括固定模型/数据/采样参数，并同时报告相对与绝对误差。

arXiv

Github

显然学习体系结构能随时生成汇编非常方便。教学使用的体系结构是 armv4，不过现代编译器默认生成的已经是 armv8 了，连指令宽度都不一样。有必要学习怎么编译和查看 armv4 编译。