DPO for Tool-use Preference

Hypothesis

如果把工具调用失败样本整理成 chosen/rejected 偏好对，Agent 平台就能将线上问题样本纳入评测、策略优化和模型改进接口。

Dataset

数据设计保留任务目标、可用工具、业务约束、chosen 行为和 rejected 行为，并按失败类型、行业场景、工具风险等级和人工接管策略分层。

Evaluation

评测覆盖 win-rate、工具选择准确率、参数有效率、拒答合理性和人工接管触发情况，服务平台发布门禁和策略迭代。

Result

先在回放评测中验证工具选择、参数有效性和拒答边界，再将改进分流至 prompt、策略或模型层，形成可审查的发布门禁。