LLM 的 TTFT 与 p95 延迟

LLM 延迟由首 token 时间和后续流式输出速度组成，两者都会影响用户体验。

什么时候重要

当团队把 AI 功能放进真实产品时，延迟 会影响质量、成本、延迟和可维护性。它不是孤立概念，而是模型 API、工具调用、数据检索、评测和可观测性之间的一部分。

评估要点

• 先确认它解决的是质量、速度、成本还是运维问题。
• 记录输入、输出、失败模式和回滚方式。
• 用小样本评测验证收益，再扩大到生产工作流。

AIStackWatch 视角

AIStackWatch 会把 延迟 放回开发者工具栈中观察：哪些工具支持它、哪些公司在强化它、以及它如何影响团队的构建决策。