探索

作者在 124M GPT-2 上对单条样本注入做了多种子真反事实预训练。单次暴露后的段落优势在约五十步内可测，训练结束时则落在检测阈值之内而消失。

Lévy Attention 将交叉注意力写成对非齐次 Poisson 随机测度的随机积分，使预测与闭式不确定性在同一次前向中产生。其期望退化为可训练的 mollified 余弦核注意力，可替换 softmax 并保留证据质量与 value 分歧。

Mamba 提出带输入选择的状态空间模型，在线性时间下沿序列过滤信息。它重新打开一个问题：注意力是否是序列建模的唯一终点。