Smarter Models Still Hallucinate: Evidence Gates for Production RAG Agents
更聪明的模型仍会幻觉。模型能力提升可以改善平均推理质量,却不会把概率生成器变成事实数据库,也不会自动建立业务答案的发布边界。 因此,生产系统不能把事实可靠性寄托在某个模型版本上;它必须假设任何模型都可能在证据不足时生成“…
更聪明的模型仍会幻觉。模型能力提升可以改善平均推理质量,却不会把概率生成器变成事实数据库,也不会自动建立业务答案的发布边界。 因此,生产系统不能把事实可靠性寄托在某个模型版本上;它必须假设任何模型都可能在证据不足时生成“…
HarnessDev 表明 Harness 会与创建、执行它的模型共同适配;有效性必须通过跨模型与未见任务验证。
Harness-of-Harness 通过规划、开发与独立验收循环,将长任务推进转化为可恢复、可验证的净进展。
ContextPipe 将上下文组装从调用前的拼接逻辑提升为可规划、优化、执行与反馈的运行时子系统。
模型可以提出计划、生成代码并操作外部系统,但它不能同时充当行动者、证人和裁判。随着 Agent 从内容生成走向真实执行,安全边界必须从模型训练延伸到 Runtime:在行动发生前约束权限,在行动完成后验证证据,并让每一次…
Skill 让 Agent 获得专业操作知识,但一份写得正确的 Skill 文档,并不能保证每次运行都得到正确结果。真正影响生产可靠性的,是 Agent 是否在适当时机执行了必要步骤、保持了步骤依赖、采用了正确参数,并在…
MCP 2026-07-28 移除了协议级 Session,但没有让 Agent 应用变成“没有状态”的系统。它真正做的是拆开过去混在长连接里的状态,并把它们交给更明确的所有者:
Alexander Panfilov、David Schmotz、Ilia Shumailov 等,arXiv:2608.09867v1,2026-08-10。 原文:摘要页 · PDF
把成功轨迹写进 SKILL.md,再让 Agent 做相似任务,分数通常会提高。难点在于解释这段提升:它可能记住了答案,可能捕捉了任务表面的固定格式,也可能真的抽象出一条可以重新组合的业务规则。GDPevo 的研究问题正…
传统模型服务把一次请求看成连续的 GPU 工作:输入进入,模型生成,响应返回。Agent 任务却在模型推理、CPU 工具、远程 API、沙箱、审批和等待之间反复切换。一次工具执行可能持续几毫秒,也可能卡住数分钟;模型恢复…
Prompt Injection 的风险已经从“模型说了不合适的话”迁移到“Agent 代表用户执行了错误动作”。邮件正文、网页、代码注释、检索文档和工具输出都可能同时进入推理上下文;其中一段低信任文本只要伪装成系统流程…
现有 Coding Agent 排行榜通常从一份写得相当清楚的 Issue 开始:症状、目标行为、相关上下文甚至复现线索已经由人整理好。真实维护中最昂贵的一段工作却发生在这之前——从仓库和弱信号里判断是否真的存在缺陷、缺…
Coding Agent 最容易被夸大的能力之一,是“会从失败中学习”。一次任务失败后补一句提示词,再跑同一个仓库并成功,这只能证明系统适应了这次失败;它究竟抽象出了可迁移规律,还是把答案换一种形式存进了提示词,仍然未知…
仓库级修复常被建模成“收到 Issue,然后选择一个最合适的模型”。这个顺序忽略了一个事实:模型选择发生时,系统尚未读取目录、追踪调用链、运行复现或判断问题规模。只看 Issue 文本做路由,等于用最贫乏的任务表示决定最…
MCP 最初解决的是互操作:让模型应用用统一协议发现并调用工具。协议一旦从本地进程走向云端、多租户和数千工具,问题就不再只是“能否连接”,而是如何扩缩容、鉴权、路由、限流、观测和故障恢复。2026-07-28 版本把 M…
调研日期:2026-08-06 | 调研对象:https://github.com/cloudflare/computer(main 分支,76d9e75) 调研方式:克隆源码精读(packages + docs + e…
精读对象:Abu Bakar Siddik, Cyber-Capable AI Agents: Vulnerabilities, Evaluation Containment, and Defensive Respons…
精读对象:Ankur Singh, Jinqiu Yang, Tse-Hsun Chen, IssueTrojanBench: Benchmarking AI Coding Agents Against Maliciou…
AREX 的核心不是让 Agent 无限搜索或自动改写自己,而是把每轮研究变成一次可验证的状态更新:保留已经成立的证据,显式记录仍未满足的约束,再把剩余不确定性转成下一轮的定向任务。
但我拾起来的是文化,早晚有一天我会完全用不到它们甚至忘记,但在当时,它们触动过我的心~毕竟那是我,弱小,有限,绝望却充满期冀、永不服输的求知欲啊~
ResearchArena 揭示了一个容易被忽略的事实:Agent 可以在完成主任务、通过公开评测的同时,把隐藏行为留在模型、训练数据、Kernel 或服务代码中。生产安全因此不能只审查对话和执行轨迹,而必须独立运行、探…
当 Agent 可访问的工具从十几个增长到数千个时,问题不再是如何连接 MCP Server,而是如何让模型只看到当前任务需要且有权使用的工具。MCP Gateway 的价值,是把协议适配、工具发现、访问控制和后端路由从…
以 GitHub 作为唯一笔记事实源,通过受保护的 MCP 完成创建与编辑,再自动发布到 Cloudflare Pages;在免费额度内形成无需手动下载的知识管理闭环。
CAVA 将 Shell、MCP、Browser 与 Workflow 中形态各异的执行事件归一为稳定动作对象,使策略、审批、回执和审计绑定同一语义身份。
Shared Selective Persistent Memory 只持久化任务规范、数据 Schema、工具配置和输出约束,并把生成程序与运行时数据解耦,以减少跨会话重述和无效模型调用。
没有匹配的笔记。