ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录

为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进