生产级 Agent 平台架构

项目概览

YC 提供面向多行业的企业 SaaS 服务，核心场景为 AI Agent 客服。任职期间负责 Agent 平台方向，覆盖平台架构、运行时治理、知识与工具体系、质量治理和团队工程规范。

平台已支撑 2k+ 租户、23w+ 用户，生产环境峰值 6w 请求/天，端到端平均响应约 7s。

平台范围

核心能力覆盖：

Agent Runtime：会话级 runtime、复杂任务处理、终止条件、并发控制、异步执行和 callback 回传。
Tool / MCP / Skills：HTTP Tool、MCP adapter、Skill 动态加载卸载、tool gating 和 side-effect planner。
RAG / Memory：文档、QA、网站、附件、商品、session-memory 等多类型知识和上下文增强。
Observability / Cost：correlation_id、events、inspection、token usage、callback payload 和压测指标。
Quality Governance：线上问题案例、content gap、人工审核、知识/Skill/Memory 更新、评测回放和发布门禁。

数据反馈与知识自进化

围绕客服 Agent 的未知问题建设聚类与主题发现平台，将未解决、未命中或低置信度问题转化为可分析的主题簇，服务知识库补全、RAG 优化和 Skill 迭代。

项目在 2025 年进入平台支持阶段。当时平台规模按当前约 50% 折算，对应约 1,000+ 租户、115,000+ 用户、峰值请求约 30,000 次/日。按周请求规模折算，unknown questions 占比从早期约 30% 逐步下降到约 10%，稳定后约 5%，对应每周约 63,000 条、21,000 条和 10,500 条未知问题处理量。

技术链路包括多语言文本清洗、embedding、UMAP/HDBSCAN、BERTopic、LLM topic representation、聚类质量评估、实验管理、可视化报告和结果回写。约 50% 聚类结果进入知识库、RAG 配置或 Skill 迭代，高频主题运营处理覆盖约 70%，结合 content gap 补全推动客服 Agent 自动解决率提升约 30%。

架构演进

1.0 阶段以可控 Agent Runtime 为核心，用 Guideline / Journey / ARQ 将大模型能力约束在可解释、可追踪、可复盘的业务执行框架中。

2.0 阶段升级为模型驱动 Agent Runtime，由 LLM 承担 tool calling 和多步决策，Runtime 负责上下文、行动空间、Skill 动态加载、RAG/Memory、工具边界、并发控制和成本治理。

架构演进围绕可控性、任务完成质量、上下文效率、工具风险与扩展成本持续取舍，并将生产约束沉淀为 Runtime 能力。

团队工程治理

YC 产研团队约 20 人，AI Agent 方向带领 3 人小组（2 开发 + 1 测试）。同时推动 AI 开发 Harness 覆盖 40 个仓库，把 AI 辅助开发纳入稳定工程流程。

治理机制分为三层：

Outer Loop：架构规则、语言规范、分层边界、命名、错误处理、日志和可观测要求。
Inner Loop：用 Spec / EPIC 拆解非平凡需求，明确目标、非目标、验收标准、任务阶段和状态。
Supervisor Gate：以变更摘要、文件清单、自检结果、AI Harness trace 和验收 checklist 作为交付门禁。

通过统一规格、过程检查和交付门禁，降低架构漂移、失控重构、质量不一致和验收缺口，提升评审效率、交付一致性和回滚能力。

技术栈

主要技术栈包括 Python、TypeScript、Rust、Java、FastAPI、Milvus、阿里云、Google Cloud 和 Gemini。

技术栈服务于统一的平台目标：Agent Runtime、工具体系、RAG/Memory、评测门禁、可观测和团队工程治理。

交付价值

核心交付价值包括：

将 Agent 能力接入真实客服业务流程。
将工具接入、权限审批、运行时授权和审计边界平台化。
将 prompt、工具 schema、模型版本和 RAG 策略纳入发布门禁。
将 unknown questions 聚类、content gap 识别和主题发现纳入知识自进化闭环。
将 Agent Runtime、Skill、RAG/Memory 和多渠道能力沉淀为平台资产。
对稳定性、成本、质量、交付流程和业务结果负责。