2024年第三季度，我第一次在生产环境中遭遇RAG延迟危机。彼时团队正在构建企业知识库问答系统，上下文长度从2K扩展到16K后，首字生成延迟从800毫秒飙升至12秒。用户反馈系统"反应迟钝"，这成为我...