微软LongRoPE把上下文窗口拉到200万，超越Gemini

在谷歌刚用支持100万token的Gemini 1.5刷新上下文窗口纪录后，微软相关研究抛出LongRoPE，把上下文窗口一举拉到2048k token，也就是200多万，直接翻倍。

方法上有三大关键：非均匀位置插值、渐进式扩展策略，以及短上下文窗口性能恢复。前两者让模型在不大量微调的情况下把窗口扩展数倍，后者保证原有短文本任务不掉点。

在Passkey检索测试中，LLaMA2-2048k在4k到2048k的文本范围内保持了90%以上的检索准确率，Mistral-2048k在1800k之前更是维持100%准确率，显示超长上下文并非“撑大但变傻”。

值得关注的是，这项工作的团队为纯华人阵容，论文一作Yiran Ding就读于杭州电子科技大学，于实习期间完成。中国研究力量在基础方法层面的活跃度再次被印证。

长上下文窗口将重塑文档分析、代码理解、超长对话与智能体应用。当模型能“一次读完一整本书”，检索、摘要与推理的产品形态都可能被重写。

当然，窗口变长也意味着推理成本与显存压力陡增。LongRoPE的价值在于用更低的训练代价换取扩展，但能否落地到主流产品的可用版本，仍取决于工程与成本的进一步平衡。