ShwNote

前一段时间听了 Jiaxuan 的讲座，感触还是非常多。其中一条就是 Build In Public。大概意思，就是要在网络上记录自己的学习过程。

展示自己的斜率，而非截距。

一言发生错误

老祖宗传的板子

LLM解码长度预测的瓶颈是“随机性天花板”

现有基准把预测器能力和任务难度混为一谈。我们把自回归解码建模为停时随机过程，证明每提示解码长度近似正态，并给出 σ=αμ+b 方差律和误差下界；多种 prefill 预测器都逼近同一边界，在我们看来，问题的系统误差压倒模型误差。

我们呼吁新的数据集包括固定模型/数据/采样参数，并同时报告相对与绝对误差。

arXiv

Github

显然学习体系结构能随时生成汇编非常方便。教学使用的体系结构是 armv4，不过现代编译器默认生成的已经是 armv8 了，连指令宽度都不一样。有必要学习怎么编译和查看 armv4 编译。

拒绝域

假设检验的基础原理，是构造“拒绝域”。

来看这样一个问题：