探索

作者在 124M GPT-2 上对单条样本注入做了多种子真反事实预训练。单次暴露后的段落优势在约五十步内可测，训练结束时则落在检测阈值之内而消失。

Lévy Attention 将交叉注意力写成对非齐次 Poisson 随机测度的随机积分，使预测与闭式不确定性在同一次前向中产生。其期望退化为可训练的 mollified 余弦核注意力，可替换 softmax 并保留证据质量与 value 分歧。

Mamba 提出带输入选择的状态空间模型，在线性时间下沿序列过滤信息。它重新打开一个问题：注意力是否是序列建模的唯一终点。

这篇论文把序列建模从逐步时间循环中解放出来，改用可并行的全局自注意力。它以编码器—解码器 Transformer 证明注意力足以支撑机器翻译等序列任务。

Word2Vec 证明，在足够大的无监督语料上可以学出支持算术运算的语义空间。词与词之间的几何关系能够稳定地反映类比等语义规律。