经典基础2017
Transformer:注意力就够了
Attention Is All You Need
这篇论文把序列建模从逐步时间循环中解放出来,改用可并行的全局自注意力。它以编码器—解码器 Transformer 证明注意力足以支撑机器翻译等序列任务。
Ashish Vaswani, Noam Shazeer, Niki Parmar et al.·NeurIPS160k 引用1.7k 阅读
按时代、领域或关键词筛选。经典是骨架,新篇每天早上 6 点从 arXiv 自动收入。
Attention Is All You Need
这篇论文把序列建模从逐步时间循环中解放出来,改用可并行的全局自注意力。它以编码器—解码器 Transformer 证明注意力足以支撑机器翻译等序列任务。
Efficient Estimation of Word Representations in Vector Space
Word2Vec 证明,在足够大的无监督语料上可以学出支持算术运算的语义空间。词与词之间的几何关系能够稳定地反映类比等语义规律。