返回列表

2021-09 - 2024-05

AIGC SaaS 与模型服务平台

负责生成式 AI SaaS 的服务端工程、微服务拆分、模型推理调用链和平台化交付,参与产品从 0 到 1 建设。
  • AIGC SaaS
  • Model Serving
  • Stable Diffusion
  • Microservices
  • DevOps

项目概览

商汤 AIGC 业务期间,参与秒画(miaohua)生成式 AI SaaS 从 0 到 1 建设,负责工程侧推理服务对接、微服务拆分、异步任务、日志监控和平台化交付。

核心价值在于 AI 能力产品化:将模型推理、任务状态、文件存储、后处理和用户体验连接成可用、可扩展、可运营的产品系统。

平台范围

秒画(miaohua)AIGC 产品建设的核心范围包括:

  1. AI 绘画平台:支持自研作画模型、LoRA 训练能力和第三方开源模型接入。
  2. 推理服务接入:围绕 Stable Diffusion / PyTorch 处理模型参数适配、Prompt 优化、异步任务、模型文件存储和结果后处理。
  3. 微服务拆分:沉淀身份认证、模型推理、模型文件存储、任务推送等服务边界,制定 RPC 通信规范。
  4. 生产工程:建设链路日志、监控告警、容器化部署、负载均衡和服务吞吐优化体系。

工程取舍

生成式 AI SaaS 的关键挑战在于把模型能力纳入稳定业务系统:

  • 模型调用链需要清晰记录参数、输入、输出、耗时和失败原因,否则无法定位质量和稳定性问题。
  • 任务队列、模型服务和文件存储需要拆开,避免长耗时推理阻塞 Web 主链路。
  • prompt、模型参数、后处理和水印/二维码/OSS 存储等环节需要形成可复用流水线。
  • 身份、推理、文件和任务推送服务需要明确 RPC 契约、负载均衡与扩缩容边界,保障峰值吞吐和故障隔离。

平台价值

沉淀模型服务工程化、长耗时任务编排、推理链路观测和平台运维能力,并延伸至 AI Agent 平台的模型调用治理、成本控制和生产发布流程。