2021-09 - 2024-05
AIGC SaaS 与模型服务平台
负责生成式 AI SaaS 的服务端工程、微服务拆分、模型推理调用链和平台化交付,参与产品从 0 到 1 建设。
项目概览
商汤 AIGC 业务期间,参与秒画(miaohua)生成式 AI SaaS 从 0 到 1 建设,负责工程侧推理服务对接、微服务拆分、异步任务、日志监控和平台化交付。
核心价值在于 AI 能力产品化:将模型推理、任务状态、文件存储、后处理和用户体验连接成可用、可扩展、可运营的产品系统。
平台范围
秒画(miaohua)AIGC 产品建设的核心范围包括:
- AI 绘画平台:支持自研作画模型、LoRA 训练能力和第三方开源模型接入。
- 推理服务接入:围绕 Stable Diffusion / PyTorch 处理模型参数适配、Prompt 优化、异步任务、模型文件存储和结果后处理。
- 微服务拆分:沉淀身份认证、模型推理、模型文件存储、任务推送等服务边界,制定 RPC 通信规范。
- 生产工程:建设链路日志、监控告警、容器化部署、负载均衡和服务吞吐优化体系。
工程取舍
生成式 AI SaaS 的关键挑战在于把模型能力纳入稳定业务系统:
- 模型调用链需要清晰记录参数、输入、输出、耗时和失败原因,否则无法定位质量和稳定性问题。
- 任务队列、模型服务和文件存储需要拆开,避免长耗时推理阻塞 Web 主链路。
- prompt、模型参数、后处理和水印/二维码/OSS 存储等环节需要形成可复用流水线。
- 身份、推理、文件和任务推送服务需要明确 RPC 契约、负载均衡与扩缩容边界,保障峰值吞吐和故障隔离。
平台价值
沉淀模型服务工程化、长耗时任务编排、推理链路观测和平台运维能力,并延伸至 AI Agent 平台的模型调用治理、成本控制和生产发布流程。