探索

FlashAttention 提醒我们：注意力的瓶颈经常是搬数据，不是算 FLOPs。它按 GPU SRAM 做分块并在反向重算中间量，得到与标准算法等价的精确注意力，同时大幅减少显存读写。

AlphaFold2 把结构预测从竞赛指标变成可以辅助实验的工具。它用基于注意力的模型对进化与几何约束推理，以接近原子级精度给出结构并附带置信度。