目录
Agent 与 Sandbox 面试题库:运行时、模型网关与系统设计
/        

Agent 与 Sandbox 面试题库:运行时、模型网关与系统设计

文章封面

这份题库起于一次 Agent 工程面试复盘。面试从 Agent Loop 和简历项目问到 Sandbox 启动、模型调用优化、单体拆分,以及如何从零交付一个 Agent。这里用一个贯穿场景组织答案:用户上传 CSV,Agent 在隔离环境中生成统计报告,再由用户确认是否将报告归档。题目和追问经过改写与扩展,便于练习如何解释设计取舍、故障边界和验证方法。

专题题号练习重点
Agent Loop 与运行时AG-01~AG-05循环、断点恢复、工具治理、多智能体
Sandbox 隔离与启动优化SB-01~SB-06选型、冷启动、多租户、本地沙箱、逃逸防护
模型调用与网关LLM-01~LLM-05延迟、限流、Prefill 与 KV Cache
服务拆分与迁移ARCH-01~ARCH-02部署边界、异步一致性
从零落地与项目复盘MVP-01~MVP-03MVP、评测、简历深挖
上下文工程与记忆CTX-01~CTX-05长短期记忆、工具输出、裁剪与压缩

一、Agent Loop 与运行时

AG-01 · 如何设计一个可终止、可观测的 Agent Loop?【基础】

考察点 模型提议、执行器决策与上下文边界。

参考答案

  1. 运行时读取任务状态和预算,组装与当前步骤相关的历史、工具定义与资料。模型输出可以是最终答案、澄清请求或工具调用提议。
  2. 执行器等到流式工具参数组装完整,再做 Schema 校验、用户与租户鉴权及预算检查。工具执行结果以结构化观察写入状态,再进入下一轮。无依赖且无冲突的调用可以并行,结果用调用 ID 关联。
  3. 设最大步数、墙钟时间、Token 和费用预算,支持取消。结合动作指纹和实际进展检测空转,按错误类别区分参数纠正、短暂故障重试、权限拒绝和人工介入。工具大结果存到受控存储,模型上下文只携带摘要和有权限约束的引用。

追问 工具连续返回同一种错误,何时让模型修正参数,何时直接结束?如何保留尚未完成的动作和关键约束,防止上下文压缩后重复执行?

追问参考答案 参数缺失、类型错误等可修正问题,返回字段名和合法格式,让模型在有限次数内重试。权限被拒、预算耗尽或依赖持续不可用时,结束当前动作并反馈原因;遇到外部写操作超时,先按动作 ID 核对结果。把待执行、已提交、结果未知的动作及其 ID,以及审批、权限和预算约束单独写入检查点。压缩只处理对话和观察文本,恢复时按检查点决定是否继续执行。

阅读:Anthropic 的 Agent 与 Workflow 建模

AG-02 · 工具已经成功,但 Worker 在写入检查点前崩溃,怎么恢复?【进阶】

考察点 工具副作用、状态持久化和人工审批。

参考答案

  • 调用前持久化动作意图、稳定业务动作 ID、参数摘要和状态。恢复时沿用同一个幂等键重试,前提是下游能按键去重,或能查询动作结果。下游两者都缺时,超时后将结果标记为未知并进入核对流程。
  • 检查点保存已完成步骤和待决动作。Worker 租约与版本条件更新用于处理重复调度。对外进度事件按序号持久化,客户端可在连接中断后补读,按事件 ID 去重。
  • 报告归档前可进入等待审批状态。审批绑定动作、参数摘要和有效期,恢复时重新校验权限与参数一致性。等待期间可以释放 Worker,沙箱是否保留取决于会话和产物策略。

追问 用户审批后又替换了上传文件,原审批还能用吗?下游没有状态查询接口时,怎么尽快核对一次超时归档?

追问参考答案 原审批绑定文件版本或内容哈希,换文件后需要重新生成对应产物并让用户确认。归档超时时,先用业务动作 ID、目标位置和报告哈希查独立审计记录、产物清单或归档回执。下游支持幂等就用原键重试;没有可靠证据且无法安全重试时,把状态保留为结果未知,交由有权限的人员核对。

AG-03 · 工具从十个增长到上百个,怎么减少选错工具和传错参数?【进阶】

考察点 工具召回、接口设计与权限控制。

参考答案

  • 先按租户、用户权限和业务域过滤可见工具,再用规则或检索召回候选。工具名、职责、输入输出与失败语义应有清晰边界,参数尽量用明确的类型和枚举。
  • 运行时在真正执行前再次检查权限、Schema 和业务约束。MCP 可统一工具发现和调用接口,服务端依然负责资源授权。外部文档和工具结果作为任务数据处理,模型只能提出新的动作。
  • 用真实任务测候选召回率、选对工具率、合法调用率和最终任务成功率。对工具缺失、参数可修正和越权请求分别记录,避免单看调用成功率掩盖问题。

追问 缩小候选集合后,模型调用更稳了,但任务成功率下降。怎样区分召回遗漏和模型误选?

追问参考答案 先用标注了可接受工具的任务集做离线回放,记录授权后可用工具、进入候选的工具、模型最终选中的工具及结果。正确工具未授权属于权限或配置问题;有权限但未召回就查过滤与排序;在候选里却没被选中就查描述、相邻工具歧义和路由。可将正确工具强制放入候选做对照,观察选对率及最终完成率是否恢复。

AG-04 · 什么时候用多智能体,什么时候用单 Agent 或固定工作流?【系统设计】

考察点 任务可分解性、上下文隔离与编排成本。

参考答案

  • 路径及验收规则已知时,用代码定义工作流。步骤虽不确定但彼此强依赖、共享上下文较多时,先用单 Agent。多个开放子问题能并行探索,且各自只需部分上下文时,可以用编排者分派、多个子 Agent 处理、编排者汇总。
  • 以 CSV 报告为例,解析与归档可固定编排。若数据质量检查、分群分析、异常归因可以独立推进,且每条分支需要自主查询不同证据,可以作为有预算的并行子任务。可确定的汇总计算直接用程序。
  • 用同一组任务比较单 Agent 基线与多智能体的完成率、证据覆盖、P95 和单次成功成本,记录重复劳动和汇总错误。只有收益足以覆盖协调成本时才扩大使用。
    阅读:Anthropic 多智能体研究系统

追问 三个子任务里有一个很慢,而且它的结论是交付必需的,怎么处理?

追问参考答案 给各分支分配截止时间,在流程里标记哪些结果是交付必需的。关键分支失败时只重试该分支或改由编排者接管,有明确完成条件后才生成完整报告。如果总预算到期,返回可验证的部分结果并标明缺失字段,把任务保留为部分完成。

AG-05 · 多个 Agent 如何交接上下文、处理冲突并控制副作用?【进阶】

考察点 交接协议、证据归并、权限和幂等。

参考答案

  • 每个子任务交接任务 ID、目标、输入与数据版本、允许使用的工具、截止时间、验收字段。子 Agent 返回结构化结论、证据或产物 ID、方法及未解决项。大产物单独存储,编排者按权限取用。
  • 并行子任务可以独立读同一版本,按输出命名空间写各自产物。共享统计字段由预先约定的数据口径与确定性规则汇总。归档由单一授权路径执行,使用业务动作 ID、版本检查和适用的审批。
  • 用关联 ID 跟踪父子任务、调用成本和失败重试。对相互矛盾的结果,先比数据版本、过滤条件和计算口径,再核验证据;无法裁决时保留分歧让用户选择。

追问 两个子 Agent 返回了不同的总金额,能让第三个模型直接投票吗?

追问参考答案 先检查是否用了同一文件版本、币种、时间范围、去重和空值策略。若口径一致,由确定性代码对原始数据重新计算并保留证据。第三个模型适合帮助定位差异或组织说明,票数无法核实计算正确性。

二、Sandbox 隔离与启动优化

SB-01 · Agent 执行生成代码时,如何选择容器、gVisor、MicroVM 或 WASM?【基础】

考察点 威胁模型、隔离机制和工作负载兼容性。

参考答案

选项隔离机制选型时要验证的约束
Linux 容器进程隔离与资源控制,容器共享宿主内核权限配置、宿主信任边界、内核暴露面
gVisor用户态应用内核处理大部分应用系统调用系统调用兼容性、文件和网络 I/O 开销
Firecracker MicroVM通过硬件虚拟化运行独立 Guest 内核节点虚拟化能力、镜像与网络运维成本
WASM运行时隔离和受控宿主接口原生依赖、系统接口、工具链的可移植性

先确认谁能提交代码、任务能访问什么、跨租户事件的影响,以及是否需要完整 Linux 用户态。对于依赖原生 Python 包的多租户分析环境,可以把 MicroVM 和 gVisor 纳入候选,用实际依赖、隔离要求和并发压测做决策。资源配额、出口控制、凭据管理属于部署层的独立约束。

阅读:gVisor 安全架构

追问 现有集群支持 gVisor,但报告生成依赖原生扩展。你会用哪组工作负载做兼容性与性能测试?

追问参考答案 用生产镜像里的真实 Python 版本和原生依赖跑三组负载:只导入扩展的首命令、从读取 CSV 到统计汇总和写产物的典型任务、覆盖大文件和并发峰值的压力任务。在候选运行时使用同一硬件规格、资源配额与数据集,核对结果与错误日志,并比较冷启动、首命令和整任务 P95、内存峰值与吞吐。

SB-02 · Sandbox 启动要几秒,如何定位瓶颈并验证优化?【高频】

考察点 冷启动拆解、预热池、快照与尾延迟。

参考答案

  1. 把启动基线定义为从申请到首个代表性命令成功。分别为排队、调度、镜像拉取与解包、运行时启动、网络初始化、依赖加载打点。冷路径、预热命中和预热落空分别记录 P50/P95/P99。
  2. 用预烘焙依赖、本地镜像缓存和只读基线减少初始化工作。按镜像版本维护洁净预热池,分配后异步补足,设置水位、配额与冷路径回退。压测时纳入突发流量和镜像更新。
  3. VM 初始化慢时可验证从洁净模板恢复。Firecracker 快照保存 VM 状态和内存,磁盘等外部资源需要一起按兼容条件管理。按需读取可以缩短恢复路径,热点页缺失也可能把延迟转移到首个命令。
  4. 把调度成功率、预热命中率、闲置容量成本与端到端尾延迟一起比较。设定百毫秒目标前,先约定具体起止点、部署环境和负载。
    阅读:Firecracker 快照文档

追问 预热池命中率很高,为什么整站 P99 仍会变差?如何验证快照首命令的收益没有被缺页开销抵消?

追问参考答案 先按租户、镜像版本和负载切分整站 P99。整体命中率掩盖了热门镜像的落空或突发排队,即使命中,节点争用、挂载或依赖加载也可能变慢。用同一机器规格、镜像、缓存状态和负载比较全量启动与快照恢复,分别打点到运行时就绪、首个代表性命令成功及任务完成,并记录缺页和磁盘 I/O。用后两个时间点判断是否真的缩短了用户等待。

SB-03 · 如何设计多租户 Sandbox 的网络、凭据和数据边界?【进阶】

考察点 最小权限、纵深防御与产物隔离。

参考答案

  • 默认禁止外连。有明确需求时经受控出口访问批准的服务,出口代理检查实际目标、重定向和网络边界。文件系统使用只读基线与租户专属写层,避免挂载宿主敏感目录或管理接口。
  • 业务长期凭据留在受控服务。需要跨边界访问时,由工具代理按调用者、租户、资源和动作再次授权,或签发短期且限定受众与权限的凭证。权限判断与模型输出分离。
  • 为 CPU、内存、进程、磁盘、网络及执行时长设上限。文件和报告通过受控产物接口进出,校验归属、路径与大小。审计记录操作身份、目标、决策和结果,敏感内容按策略脱敏及留存。

追问 同一个外部服务既支持查询也支持写入,你如何限制 Agent 只读?如何测试跨租户产物拒绝时,调用者也无法获取文件元数据?

追问参考答案 给 Agent 只注册查询工具,工具代理按身份、租户、资源和操作授权,下游使用只读凭据。测试时用租户 A 的身份请求租户 B 的已知产物 ID,覆盖列表、元数据、下载和签名链接申请,断言响应不会返回文件名、大小、所有者或可用链接。若业务要求隐藏资源是否存在,再对比已知异租户 ID 与不存在 ID 的公开响应。

SB-04 · 同一会话要保留工作目录,怎样设计租约和回收?【进阶】

考察点 会话亲和、取消语义和资源清理。

参考答案

  • 沙箱实例绑定租户、会话和租约。会话内可以复用写层,设置空闲 TTL 和最大寿命。取消、超时和租约失效由运行时执行,避免客户端断开后任务无限运行。
  • 需要长时间保留时,把明确的产物和工作状态存到独立存储,或按风险与成本评估会话快照。暂停通常仍保留内存占用,容量模型需区分暂停与销毁。
  • 回收时终止进程、断开网络身份、撤销临时授权,清理写层并记录结果。回收失败要隔离并重试。分配给下一租户的实例来自经验证的洁净基线。

追问 旧 Worker 拿着过期租约晚到了,如何阻止它继续写入?如何判断清理观察到的是旧实例还是新实例?

追问参考答案 给每次租约分配递增的 fencing token,任何文件写入或产物提交都由存储或代理校验 token 及当前租约有效性。回收时按不可复用的实例 ID 和租约版本做条件操作;旧版本的清理请求只处理属于该版本的资源。测试时让旧 Worker 在租约被接管后恢复,验证旧写入和旧回收都无法影响新实例。

SB-05 · 什么是本地沙箱?怎样隔离本机 Coding Agent 的命令执行?【进阶】

考察点 本机执行、操作系统强制隔离和最小权限。

参考答案

  • 本地描述执行位置。实际保护取决于宿主 OS、运行时及策略。当前目录只是进程的起始位置,权限应由受约束的执行器与 OS 共同强制执行。
  • 以本地构建任务为例,显式允许读取工作区和工具链,写入限定于项目与临时目录;凭据目录与宿主管理接口不暴露。按任务授权网络、限制进程和资源,子进程继承约束。Linux 可评估 Landlock、namespace、seccomp 与 cgroup 的分工及实际支持;涉及不可信任意代码时按威胁模型评估更强隔离边界。
  • 启动前检查策略是否真正生效。用合成测试文件验证合法构建、越界读写被拒、子进程约束和取消后的清理。提高权限时将审批绑定具体操作与路径。
    阅读:Linux Landlock 用户空间文档

追问 构建依赖下载被拦截,怎样支持构建同时控制授权范围?

追问参考答案 优先使用项目依赖缓存或经批准的镜像,只开放指定依赖源和这次构建的出口权限。需要访问项目外缓存时单独授予必要路径,凭据继续由受控工具或代理管理。复测依赖能下载,并验证其它出口仍被策略拒绝。

SB-06 · 什么是沙箱逃逸?如何降低风险并处理疑似事件?【安全设计】

考察点 隔离边界、纵深防护与事件响应。

参考答案

  • 沙箱内进程获得超出预期边界的宿主或其他租户资源访问,属于隔离边界失效。排查时先核对实际权限是否因配置过宽而敞开,再依据日志与可信观测判断运行时隔离机制是否失效。
  • 明确可信计算基和暴露面,按威胁模型选择隔离层。使用独立执行池、最小挂载、受控出口、短期凭据、资源限额和及时更新。宿主控制面、业务数据与执行面分离,避免单一控制失效就暴露高价值资源。
  • 用合成资产验证默认拒绝、租户隔离、审计可见性与回收。出现疑似事件时隔离受影响节点、暂停新分配、保全证据,按暴露范围撤销凭据并恢复到可信镜像。
    阅读:gVisor 的威胁与安全模型

追问 沙箱读到了工作区外的一份合成测试文件,怎样判断问题出在哪一层?

追问参考答案 先检查运行时有效策略、进程身份、实际挂载与文件归属,确认该文件有没有被部署层意外授予访问。若配置声明拒绝且行为仍越界,隔离节点并记录镜像、策略版本和审计事件,交给隔离运行时维护方分析。修复后在洁净环境重跑合法访问与越界拒绝测试。

三、模型调用与网关

LLM-01 · 怎样拆解并降低 Agent 的端到端延迟?【高频】

考察点 关键路径、首 Token 与任务完成时间。

参考答案

  • Trace 拆成入口排队、模型首 Token 时间(TTFT)、解码、工具排队与执行、沙箱准备以及最终交付。统计模型每轮和整次任务的时间,区分首个可见反馈和报告生成完成。
  • 按关键路径优化。确定性步骤下沉为代码,独立读取可以并行,明确需要沙箱时可以提前准备,但要给推测性准备设限并回收误判成本。简单分类或提取可尝试低延迟模型,用回归集验证质量。
  • 流式输出改善等待反馈。对同一类任务比较 P95 完成时间、模型轮数、成功率和单次成功成本,避免把模型输入变短误判成整条链路变快。

追问 系统的 TTFT 降了,用户却反馈更慢。你会先看哪些指标?

追问参考答案 先看用户请求到首条可见反馈、到报告可下载的 P50/P95,由浏览器时间和后端 Trace 对齐。再看每轮模型 TTFT、解码时间、串行轮数、重试次数和 Sandbox 或工具排队。比如单轮 TTFT 缩短,但小模型经常选错工具导致多走两轮,整体仍会更慢。应按相同任务类型和成功口径做前后对照。

LLM-02 · Prompt Cache 和结果缓存分别该怎么用?【进阶】

考察点 前缀稳定性、命中指标和结果复用边界。

参考答案

  • 对支持按前缀复用的模型,将稳定的系统指令、示例和工具定义放在前面,把会话消息、时间等动态内容放在后面。关注缓存输入 Token 比例、延迟和实际账单。模型变更、前缀变动或路由变化的影响按供应商能力验证。
  • 结果缓存会直接复用旧答案。对确定性高、可陈旧的子任务,缓存键包含租户、权限范围、数据版本、模型和提示词版本,并按数据变化设置失效策略。涉及实时数据、权限变化或写操作时,需要按任务语义决定能否复用。
  • 生成报告的案例里,固定工具定义可以利用前缀复用。报告结果则应按源文件、分析参数、版本和权限隔离。

追问 为什么工具列表每轮换序可能降低前缀命中率?缓存命中提高后怎么确认节省了费用?

追问参考答案 按精确前缀复用时,工具定义参与模型输入。顺序变动会改变前缀,从首处差异起通常无法沿用原缓存。验证成本时,以相同模型、任务分布和计价时段做对照,记录未缓存输入、缓存输入和输出 Token,并按对应费率核算,最后对账供应商账单和每次成功任务成本。命中率变高仍可能被更长的输出或额外轮次抵消。
阅读:OpenAI Prompt Caching 指南

LLM-03 · 模型网关遇到限流、超时和半截流式输出,如何降级?【系统设计】

考察点 配额治理、能力路由与重试边界。

参考答案

  • 按供应商、租户和优先级管控请求速率、Token 配额与在途并发。请求前估算配额,结束后用实际用量校正。把交互与批处理分队列,给每次任务设时间和费用预算。
  • 对可重试故障执行有上限的退避与抖动。备用模型须满足工具调用、结构化输出、数据处理范围和质量约束。按剩余时间和配额决定是否换路,避免层层重试。
  • 流式响应已展示内容或触发外部动作后,记录失败边界。前端可以明确显示中断或重新生成,已提交的工具副作用按照动作状态核对,避免把半截输出与新响应直接拼接。

追问 主模型在生成工具参数时断流,与工具已经执行后断流,恢复路径有什么区别?

追问参考答案 仅收到不完整参数时,丢弃该调用提议,保留重试预算,重试模型或切换到支持该工具协议的备用模型。工具已提交时,以动作 ID 查询持久化状态或下游结果;已成功就把工具结果回填后继续生成,结果未知就按幂等和核对策略处理。客户端已收到部分文本时,用明确的中断或重新生成事件处理那段输出。

LLM-04 · Prefill、Decode 和 KV Cache 分别做什么?【基础】

考察点 自回归推理、TTFT 与显存开销。

参考答案

  • 以 decoder-only Transformer 为例,Prefill 处理输入 Token,构建各注意力层的 Key/Value,并产生用于采样首个输出 Token 的 logits。Decode 逐步生成后续 Token,把新位置的 K/V 加入缓存;计算当前位置的注意力时读取相关历史 K/V。
  • KV Cache 省去对旧 Token 的重复计算。全注意力下,新位置仍需关注历史,序列越长,要保留和读出的缓存往往越多。估算常规 KV 张量体积时,按各层的历史长度、KV 头数、头维数、每元素字节数计算 K 与 V,再按活跃请求汇总。
  • Prefill 速度影响 TTFT,端到端 TTFT 也包含排队、调度等时间。Decode 关注 Token 间延迟、输出吞吐和显存压力。
    阅读:Hugging Face 的 KV 缓存机制

追问 为什么 KV Cache 让单请求生成更快,长上下文并发仍会抬高 P95?

追问参考答案 长请求持有更多缓存块,多个请求同时活跃会挤压可用显存和批处理容量,并增加 Decode 读取缓存的带宽压力。观察运行中 Token 数、KV 块占用、排队和 Token 间延迟。按 Token 控制准入与并发,结合真实负载评估分页分配、GQA 模型或 KV 量化的收益和代价。

LLM-05 · Prefill 缓存如何跨请求复用?为什么命中后整次请求仍然慢?【进阶】

考察点 前缀 KV 复用、匹配边界和性能诊断。

参考答案

  • 以 vLLM 的 Automatic Prefix Caching 为例,将已计算的前缀 KV 块保留供后续请求复用。新请求命中相同 Token 前缀后,推理引擎减少被命中部分的 Prefill,继续处理未匹配后缀并生成输出。常规 Decode KV 在一次生成内延续,跨请求前缀复用是额外的缓存策略。
  • 可复用范围受模型与适配器配置、请求 Token 序列、缓存隔离范围、路由与淘汰影响。工具 Schema、模板或历史消息改动都可能改变 Token 前缀。多租户按安全要求划分缓存作用域。
  • 用相同模型、请求分布和负载做冷暖对照。看命中 Token 比例、TTFT、排队时间、输出长度和 Token 间延迟。输出很长或工具占主导时,Prefill 节约只影响总耗时的一部分。
    阅读:vLLM Automatic Prefix Caching

追问 多轮 Agent 定期压缩历史导致 Prefix Cache 命中下降,应该关掉压缩吗?

追问参考答案 按任务阶段对比总输入 Token、实际复用 Token、TTFT、成功率和成本。把稳定的系统指令与工具定义保持在前缀,将摘要放在动态区,尽量在阶段边界压缩。即使命中率下降,输入显著缩短且任务质量稳定时,整条链路仍可能更划算。

四、服务拆分与迁移

ARCH-01 · Agent 单体中同时跑 SSE、模型调用、文档解析和代码执行,先拆哪里?【高频】

考察点 资源争用、安全边界、故障域和拆分顺序。

参考答案

  • 先用 Trace、队列等待和资源指标验证瓶颈。如果文档解析或代码执行造成内存争用及故障扩散,优先抽出异步 Worker 和独立隔离的执行池。API 与编排可以先留在模块化单体。
  • 用任务 ID、事件协议和产物引用定义边界。网关负责连接和鉴权,编排层负责状态与预算,Worker 负责受限执行。共享模型配额治理或各团队的发布节奏出现独立需求后,再评估拆出模型网关与业务工具。
  • 一次迁移一个边界,对比排队时延、吞吐、资源争用和故障影响范围。提前约定旧任务如何结束和回滚期间的读写归属。

追问 如果瓶颈来自模型供应商的 Token 配额,拆出更多 Worker 会带来什么变化?你会优先改哪里?

追问参考答案 供应商 Token 配额固定时,增加 Worker 只能提高并发请求数,容易带来更多 429、重试和更差的尾延迟。先在模型调用入口按实际 Token 用量做准入和限流,控制在途并发,区分交互和批处理优先级。再用 Trace 找出可压减的模型轮次或上下文,若需求仍超过配额,再评估扩容额度或满足同等质量与数据约束的备用路由。

ARCH-02 · 从同步单体迁移到异步 Worker,怎样避免丢任务或重复执行?【系统设计】

考察点 事务边界、重复投递和灰度迁移。

参考答案

  • 创建任务和写入 Outbox 在同一个数据库事务内完成,发布器在提交后投递。消息可能重送,消费者按任务与动作 ID 去重,下游有副作用时仍需要下游幂等或结果核对。
  • 明确任务状态的写入方,用租约或条件更新协调 Worker。用任务 ID 串联状态、事件与产物,处理积压、死信、过期和人工重放时保留审计记录。
  • 按租户或流量比例切换,先验证积压、重启和重送。回滚时停发新路径任务,排空或有序接管在途任务;每个任务同一时刻只有一条拥有写权限的路径。
    阅读:AWS Transactional Outbox 指南

追问 数据库提交成功后,发布器发出了消息,但来不及更新 Outbox 状态。系统会发生什么?如何验证消费者可以安全处理?

追问参考答案 发布器重启后会把该 Outbox 记录当作未完成,再次投递相同事件。测试时在发送成功与标记完成之间注入一次进程终止,重启后让消费者收到两次同一事件,断言任务状态和产物只提交一次。若消费者写本地数据库,用事件 ID 唯一约束,并把消费记录和业务提交放在同一事务;有外部副作用时,还要验证下游幂等或核对路径。

五、从零落地与项目复盘

MVP-01 · 给你一个新场景,如何从零交付可上线的 Agent?【系统设计】

考察点 目标拆解、最小闭环与自动化边界。

参考答案

  • 先与业务约定输入、产物、质量目标、授权范围和失败出口。用“上传 CSV → 校验数据 → 生成报告 → 用户确认 → 归档”打通一条窄路径。
  • 文件校验、权限判断和最终归档采用明确工作流。让 Agent 在受限工具集中处理指标选择、异常归因或开放式解释。代码执行进入 Sandbox,动作可审计,用户能取消并查看结果。
  • 第一版就要准备代表性测试任务、基线和灰度回滚。以完成率、报告准确性、拒绝是否恰当、P95 和单次成功成本判断是否增加模型路由、工具或更复杂的编排。
    阅读:Anthropic 的 Agent 与 Workflow 建模

追问 只有两周交付时,你会保留哪些能力?什么时候固定工作流已经足够完成任务?

追问参考答案 两周内先交付一条完整的上传、校验、隔离计算、报告下载链路。保留文件与租户校验、执行超时、可查错误和基本回归用例;归档若有外部副作用,保留一次明确确认。若文件格式、指标口径、计算顺序和输出模板都能事先定义,用固定工作流即可。遇到用户需要自由指定分析目标或解释异常时,再评估模型是否能提高完成率。

MVP-02 · 如何证明换模型、改 Prompt 或增工具之后,Agent 真的变好了?【进阶】

考察点 可复现评测、上线门槛和线上反馈。

参考答案

  • 用典型样本、失败样本、权限边界与脏数据构建版本化评测集。记录模型、提示词、工具、环境和数据版本,重复运行看波动,关键口径用确定性断言。
  • 分开评估产物与任务轨迹。比如检查列数与汇总是否正确、引用是否对应原始文件、是否发生未授权动作,以及是否产生多余工具调用。对开放文本可使用经人工样本校准的模型评分。
  • 上线用灰度观测成功率、拒绝质量、P95、成本和人工接管率。线上失败经过脱敏后加入回归集;安全约束或核心指标退化时按门槛回滚。

追问 总体通过率提高了,但权限边界用例开始失败。这一版怎么处理?如何判断是模型变化还是工具授权回归?

追问参考答案 先暂停放量,按发布门槛处理这类回归;若已经上线且触及红线,回滚对应版本。用同一权限矩阵固定身份和数据重放:直接调用工具服务验证越权请求是否仍被拒,再交叉组合新旧模型和新旧授权实现。模型提出越权动作、工具拒绝,与工具真正放行是两个不同指标,分别记录尝试率和拦截结果。

MVP-03 · 简历写了“优化 Agent 性能”,怎样回答后续追问?【项目深挖】

考察点 个人贡献、指标口径和因果验证。

参考答案

  • 先交代场景、负载和自己的职责。基线明确起止点、采样期、样本量和 P50/P95,把 Sandbox 启动、首命令完成和整任务完成分开。
  • 解释如何用 Trace 找到占比最大的阶段,列出候选方案的成本和约束,说明灰度或对照测试如何隔离镜像版本、硬件和流量变化。
  • 描述最终结果、适用边界与付出的资源成本。指标用可核对的真实数据。没有线上数据时给出压测环境、结果以及上线后的验证计划。

追问 冷启动变快伴随备用容量增加,你如何计算每次成功任务的成本,并判断是否值得?流量翻倍后,哪个假设最可能失效?

追问参考答案 在相同统计窗口内,用模型调用、运行计算和预热池闲置容量等总成本除以成功任务数,并比较 P95、超时率和预算。若尾延迟达标能减少失败重试或支撑业务目标,再用实际增量成本判断是否值得。先压测流量翻倍时预热池补充速度能否跟上消耗,尤其关注突发时的水位、落空率、排队与首命令 P95。

六、上下文工程与记忆

CTX-01 · 短期记忆、长期记忆和上下文窗口分别是什么?【基础】

考察点 保存位置、召回范围和模型可见状态。

参考答案

  • 上下文窗口是模型本次调用能处理的 Token 容量。短期记忆属于当前会话或任务,如最近消息、文件版本、任务进度和工具观察;可以用 Checkpoint 持久化并在同一会话重启后恢复。
  • 长期记忆供跨会话复用,如用户明确保存的报告格式偏好。按租户与用户或应用命名空间存储,按相关性和权限只取当次需要的条目。持久化时间不能单独用来划分长短期。
  • 报告案例里,“这次分析使用文件第二版”是当前任务状态,“以后金额默认按人民币展示”才适合在用户确认后跨会话复用。
    阅读:LangChain Memory 概念

追问 把最近二十轮存到 Redis,算长期记忆吗?向量库是否必需?

追问参考答案 如果记录只供原会话恢复,仍属于短期记忆。是否需要向量库由召回方式决定,明确键值偏好可用关系库或键值存储,语义检索需求明确时再加索引。

CTX-02 · 长期记忆怎么写入、召回、更新与删除?【进阶】

考察点 记忆治理、事实来源与权限继承。

参考答案

  • 从用户明确表达的偏好或可验证来源抽取候选,用类型、主体、作用域、来源、时间和版本记录。任务产物、单轮指令和外部文档里的文字按原用途保存;跨会话偏好变更需要能归因到用户或授权来源。
  • 先鉴权并过滤命名空间、有效期和类型,再按相关性、时效与可信度检索。当前请求里的明确要求优先于已存偏好。合并时保留版本与来源,冲突或含糊时向用户核实。
  • 支持用户查看、更正和删除,删除同步影响索引、衍生摘要和缓存读路径;备份依照留存策略处理。评测包含记忆命中、错误召回和删除后隔离。

追问 用户说“这次用美元”,后来又说“以后都用欧元”,如何写入?删除旧偏好后怎么验证?

追问参考答案 美元进入当前任务状态,跨会话的欧元偏好写入对应用户命名空间并替换先前默认值。删除后用原会话、新会话和原检索词回放,覆盖主库、索引和缓存,验证旧值不再进入模型上下文。

CTX-03 · 工具返回几万行日志或大表,如何处理超长输出?【高频】

考察点 输出预算、产物外置、按需检索和数据完整性。

参考答案

  • 在工具协议设置字节、行数、耗时与 Token 预算。执行器流式收集,在资源上限内存放允许保留的原始产物,向模型返回状态、总量或是否已知、摘要、安全样本、截断标记及受控产物 ID。
  • 按数据类型提供检索方式:日志按级别和时间找异常,表格先聚合或投影,再游标分页;保留必要区间、行号或主键供定位。对每次取回和累计读取分别设预算,服务端继续核对权限。
  • 工具输出作为数据处理。计算和结论明确说明它基于全量聚合、样本还是截断片段。记录超限率、产物回读率和漏报率,验证减 Token 后任务仍能完成。
    阅读:Anthropic 上下文工程

追问 工具只返回日志头尾,真正错误在中间,怎么改善?原始日志超过存储限额怎么办?

追问参考答案 在流式采集时记录首个异常、错误类别计数、代表性行及其位置,有原始产物时提供区间读取。超过留存限额时显式返回覆盖范围、丢弃计数或未知边界,并通过原始日志系统的受控游标回查,或缩小时间范围重跑。证据不足时将报告标为部分结果。

CTX-04 · 如何做上下文裁剪,避免删掉重要约束或工具调用配对?【高频】

考察点 Token 预算、消息完整性和可测量的降级。

参考答案

  • 调用前按实际模板计量输入预算,扣除输出预留和供应商约束。保留系统与权限约束、当前任务、关键状态、必要工具及最近相关观察。
  • 优先去掉重复检索片段、过时结果和可回读的大载荷,再基于相关性裁剪旧轮次。工具调用与返回作为可校验的消息组;并行调用下按 ID 匹配,保留或移除时满足供应商消息协议。
  • 把被移除原文留在受控存储,模型通过授权引用回读。高优先级内容仍超预算时,限制检索范围、分批处理或选择合适上下文容量的模型,并观测溢出率、成本与任务质量。

追问 最旧消息记录了核心业务口径,简单保留最后 N 轮会怎样处理?

追问参考答案 按最近轮数截取会丢掉早期口径。把仍生效的口径提升为结构化任务状态并附来源和版本,组装上下文时显式保留。回归用例在末尾加入足够多的无关轮次,检查口径和计算结果是否仍正确。

CTX-05 · 上下文压缩与裁剪有何区别?如何验证压缩没丢关键状态?【进阶】

考察点 有损摘要、状态持久化和恢复校验。

参考答案

  • 裁剪决定哪些原始信息本轮进入 Prompt。压缩把完成阶段的长历史归纳为目标、约束、决策、证据、产物引用与未完成事项,然后用较短表示继续。两种策略常组合使用。
  • 工具的提交状态、幂等键、审批与权限以持久化结构化状态为准。摘要供模型读取,运行时独立校验状态;必要时保留原文和引用,避免反复总结造成事实漂移。
  • 在阶段边界或逼近预算时压缩。用固定任务比较压缩前后目标、约束、关键数值和流程续跑结果,检测重复工具执行、来源丢失和下一步错误。
    阅读:Anthropic 上下文工程

追问 压缩摘要说“已经归档”,数据库却显示“结果未知”,恢复后该怎么做?

追问参考答案 以数据库动作状态为准。用原动作 ID 与已有回执核对下游,必要时沿用同一个幂等键;确认前把任务保留在等待核对状态。修正摘要并记录状态冲突,避免再次把同一段错误摘要当成事实。


标题:Agent 与 Sandbox 面试题库:运行时、模型网关与系统设计
作者:gitsilence
地址:https://blog.lacknb.cn/articles/2026/11/19/1795049523245.html