三类推理工作负载
为实时流、异步文件和同步 API 选择正确的运行模式。
本页目录 ⌄
Inference Streams
Streams 适合长时间运行、持续心跳、按帧或时间窗口产生结果的数据。
- 典型输入：RTSP、GB28181、IMU、MQTT 和音频流。
- 运行要求：断线重连、心跳、持续用量、停止与恢复。
- 计量示例：通道/月、流分钟、实例运行时长。
Inference Jobs
Jobs 适合执行时间较长、需要排队或会产生报告的文件型任务。
- 典型输入：图片、视频、CSV、二进制文件、本地目录和受控 URL。
- 运行要求：租约、进度、心跳、重试、取消、超时、死信与幂等回调。
- 计量示例：按次、文件、视频分钟或报告。
TERMINAL / FLOW
Pending → Queued → Running → Succeeded
├→ Failed → Retry / Dead Letter
├→ Cancelling → Cancelled
└→ Timed OutInference Services
Services 面向响应时间可控、输入较小的同步 HTTP/gRPC 调用。长视频、批量文件和长时间信号应使用 Job 或 Stream。
- 典型输入：业务系统的同步结构化请求。
- 运行要求：常驻服务、API Key、Schema、限流、配额与调用审计。
- 计量示例：请求次数、Token 或处理时长。