AIStackWatch 知识库
AI 开发者技术栈知识库
围绕团队将 AI 落地到产品时常见的概念，提供简短实用的讲解。
Function-calling API
Function-calling 把 LLM 输出约束为 typed JSON，让应用可以安全派发到真实代码。
LLM API 的 Prompt Caching
Prompt caching 让供应商复用重复前缀的 KV-cache，降低长 prompt 的成本与延迟。
LLM 上下文窗口
上下文窗口是一次 LLM 调用中模型能关注的最大 token 数，包括输入和输出。
LLM 可观测性栈
LLM 可观测性记录 prompt、响应、工具调用和成本，帮助调试生产管线。
LLM 安全过滤器
安全过滤器会拦截或改写违反供应商政策的输出，是保护措施，也有误伤权衡。
LLM 应用评测
Evals 是 prompt 和模型改动的测试套件，由数据集与评分器组成。
LLM 的 TTFT 与 p95 延迟
LLM 延迟由首 token 时间和后续流式输出速度组成，两者都会影响用户体验。
Model Context Protocol
MCP 是把工具、数据源和 prompt 接入 LLM 智能体的开放协议。
pgvector 与专用向量数据库
pgvector 为 Postgres 增加向量搜索能力，适合许多应用，直到索引规模超出单节点边界。
System Prompt 工程
System prompt 设定模型角色、规则和输出形状，是 LLM 应用中最高杠杆的控制面。
Token、上下文与成本
LLM 账单由输入和输出 token 驱动，理解乘数关系决定功能能否盈利。
什么时候需要微调？
微调会用你的数据调整模型权重，适合窄任务，但不应作为第一反应。
什么是向量数据库？
向量数据库存储高维 embedding，并能在亚秒级回答近邻查询。
什么是智能体框架？
智能体框架用于编排多步骤 LLM 工作流，连接工具调用、记忆和分支逻辑。
函数调用与工具使用
工具使用让 LLM 请求结构化函数调用，由应用执行后再把结果反馈给模型。
推理服务商对比
推理服务商在 API 背后运行开放权重模型，让团队不必自己拥有 GPU。
文本 Embedding
Embedding 是固定长度的浮点向量，用来表示一段文本的语义。
智能体式编码解释
智能体式编码把多步骤编程任务交给能读文件、运行工具并循环修正的 LLM。
检索增强生成（RAG）
RAG 会把检索到的文档注入 LLM prompt，让模型基于你的数据回答。
流式 LLM 响应
流式输出会在 token 生成时立刻发送给用户，避免等待完整响应。