功能概述

模型在线服务为预置 AI 模型提供快速部署与全生命周期运维能力，可快速完成推理服务上线，满足业务线上调用需求。针对预置模型提供快速部署能力，用户选定模型并填写服务名称，选择队列与资源规格来确定服务并发容量，同时配置副本数量、API 密钥开关、并发限流、服务名称与标签等访问限制及基础信息，即可快速完成推理服务创建。平台可展示全部服务列表，实时展示服务调度中、部署中、运行中、异常、停止中、已删除等全生命周期状态，支持对服务执行启动停止、删除服务等运维操作，还可维护服务基础信息，灵活管控服务运行状态。同时平台支持查看实时请求并发数、首字延迟、请求延迟、实时 Token 等运行指标，提供 API 密钥维度的调用监控，附带在线调试与调用示例，并且支持查看单服务日志、单实例日志与操作日志，帮助使用者快速定位线上问题。

功能说明

创建在线服务

在在线服务列表页点击“创建在线服务”。

点击右侧按钮选择模型

在基本信息模块填写模型服务名称，名称只能包含大小写英文、汉字、数字以及(:)特殊字符，长度1~32位

选择资源配置

设置访问控制

在线服务日常操作

停止在线服务

在线服务处于排队中、启动中、运行中、更新中状态时，支持创建人和租户管理员进行停止操作。在在线服务列表页，点击目标在线服务操作列的“停止”。

启动在线服务

在线服务处于异常、已停止状态时，支持创建人和租户管理员进行启动操作。在在线服务列表页，点击目标在线服务操作列的“启动”。

删除在线服务

在线服务处于异常、已停止状态时，支持创建人和租户管理员进行删除操作。在在线服务列表页，点击目标在线服务操作列的更多操作，在下拉框中选择“删除”

在线服务扩缩容

在线服务处于运行中状态时，支持创建人和租户管理员进行扩缩容操作。在在线服务列表页，点击目标在线服务操作列的更多操作，在下拉框中选择“服务扩缩容”

修改在线服务标签

在线服务支持创建人和租户管理员修改标签。在在线服务列表页，点击目标在线服务标签页的编辑按钮跳转编辑弹窗。

删除标签

点击现有标签右方的删除按钮删除标签。

添加标签

点击新增标签按钮添加新标签，最多支持5个标签。

在输入框内输入新增标签内容。

在线服务日常维护

查看在线服务基本信息
在线服务支持创建人和租户管理员查看在线服务基本信息。点击在线服务列表页的在线服务名称，进入在线服务详情页面，点击基本信息tab可查看在线服务的基本信息。

包括基础信息、权限控制、环境信息、资源配置和启动设置5个模块

查看在线服务的服务监控
在线服务支持创建人和租户管理员查看在线服务监控。点击在线服务列表页的在线服务名称，进入在线服务详情页面，点击基本信息tab可查看在线服务的基本信息。包括服务实施指标和服务监控趋势图两个模块。

注：若要获取整体请求延迟TP99和首字延迟P99数据，则需要将stream 参数设为true

其中服务监控趋势图包含资源监控和服务监控，可通过点击tab进行切换

右上方可以设置趋势图的时间区间

查看在线服务的服务日志
在线服务支持创建人和租户管理员查看在线服务日志。点击在线服务列表页的在线服务名称，进入在线服务详情页面，点击服务日志tab可查看在线服务的服务日志。

查看在线服务的服务实例
在线服务支持创建人和租户管理员查看在线服务实例。点击在线服务列表页的在线服务名称，进入在线服务详情页面，点击服务实例tab可查看在线服务的服务实例

查看在线服务的服务调用
在线服务支持创建人和租户管理员查看在线服务的服务调用。点击在线服务列表页的在线服务名称，进入在线服务详情页面，点击服务调用tab可查看在线服务的服务调用

查看在线服务的操作审计
在线服务支持创建人和租户管理员查看在线服务的服务审计。点击在线服务列表页的在线服务名称，进入在线服务详情页面，点击操作审计tab可查看在线服务的操作审计