功能概述
弹性开发机是大模型一体化平台为用户提供的代码在线编译调试和模型开发的上线环境,亦可作为弹性容器实例的算力资源使用,用于大模型训练、推理等业务。弹性开发机支持SSH或WebIDE进行远程或在线使用,同时提供了存储空间、模型、数据集等各类资产的绑定,可以便捷的连接或使用。弹性开发机在关机后,平台将释放该弹性开发机的算力资源,弹性开发机的各类已保存的数据将以临时镜像的形式进行保存,再次开机时可恢复。
名词说明
-
项目:项目是大模型一体化平台的基础单元,用于隔离租户下的各类资源、数据与用户,一般用于不同的开发、应用项目;
-
可用区:可用区是大模型一体化平台不同区域的标识,每个可用区下的数据、资源相互独立,项目可拥有多个可用区,但队列只能属于一个可用区;
-
队列:队列是平台的算力最小资源逻辑单元,在平台创建任务时必须选择一个队列来提供资源;队列归属在项目下,同时也必须归属一个特定的可用区,如需使用队列的资源,必须优先让项目管理员将用户加入该队列;
-
存储空间:存储空间是平台提供的存储功能,用户可将所需的开发、应用等各类文件、脚本存储在个人的空间内,也可通过项目共享空间和企业共享空间给项目或租户下的其他用户分享自己的数据。
使用前提
用户必须已加入目标可用区下至少一个资源队列
功能说明
创建弹性开发机
平台提供了快速创建与自定义创建两类弹性开发机创建模式,快速创建模式支持使用平台预置模板一键创建,自定义创建模式可根据用户所需自行进行配置来创建
快速创建
-
在弹性开发机列表页面点击“创建弹性开发机”

-
在创建弹窗中选择“快速创建”

-
选择相应的运行环境,平台提供Jupiter、VScode、Shell三种使用方式,Jupiter、VScode相较于Shell额外提供了两种开发软件的配置

-
选择或填写所需的基本信息参数

| 属性 | 说明 |
| 弹性开发机名称 | 弹性开发机实例的名称,1~32位,支持大小写英文、汉字、数字以及(/ | - .)特殊字符,且必须唯一 |
| 弹性开发机类型 | 弹性开发机的硬件配置,分为CPU和GPU两类,选择GPU环境时还需选择所需GPU的型号 |
| 环境规格配置 | 支持大、中、小三个规格,每个规格的CPU和内存配比不一样,分别是
|
| 资源队列选择 | 需选择已加入的资源队列作为弹性开发机的资源来源 |
| 绑定资产空间 | 可以绑定存储空间、模型文件、数据集文件等各类资产,可以通过“新增资产空间”来完成更多资产的绑定 |
-
点击新增资产空间,可以选择存储空间以及模型文件等进行绑定

-
如资源充足情况下,即可完成弹性开发机的创建,可在列表页可见

自定义创建
-
在弹性开发机列表页面点击“自定义创建”

-
在基础信息栏,需填写弹性开发机名称,名称不可与已有的弹性开发机重复,同时可以选填弹性开发机的标签信息

-
资源队列选择,点击“
”按钮,可进入资源队列的选择窗口
-
可在窗口中选择目标资源队列用于创建弹性开发机

-
选择队列以后,可选择规格配置,点击“
”按钮,可进入规格的选择窗口,在窗口中可选择系统预置的套餐或者使用自定义配置

-
选择实例规格后,可在下方选择本次开通的弹性开发机实例数量,系统会提示当前规格下,所选的资源队列能够开出的上限值,最小值为1,最大值为当前资源队列的上限值

-
完成规格配置的选择后,可选择环境所需的镜像文件,点击“
”按钮,可进入镜像选择窗口,可选择平台预置的镜像或自定义镜像进行弹性开发机的创建
-
可在绑定资产空间选择所需的存储空间、数据集以及模型文件进行绑定,默认绑定当前用户的个人存储空间,亦可点击“新增资产空间”来新增资产空间,最多可绑定5个资产空间,除个人空间外,其他新绑定的资产空间可删除


-
访问控制:可配置SSH远程访问,可使用平台公钥以及临时公钥进行绑定

生命周期管理
弹性开发机的生命周期管理代表着开发机实例从创建、到使用再到删除的全部过程,平台通过弹性开发机的状态进行管理。弹性开发机的状态类型分为过程态和稳定态,过程态是实例在到达稳定态前暂时处于的状态,长时间的过程态说明弹性开发机实例出现异常,最终弹性开发机将停留在稳定态。在弹性开发机生命周期中可能的状态如下表所示。

| 状态 | 状态类型 | 状态说明 | 可执行操作 |
| 排队中 | 过程态 | 资源不足时,开发机进入该状态,任务进入排队队列,出队列时进入“启动中”状态 |
|
| 调度中 | 过程态 | 资源充足时,进行资源调度进入该状态 |
|
| 启动中 | 过程态 | 资源调度成功后,容器实例已创建成功,会根据创建的配置要求进行初始化配置 |
|
| 启动失败 | 稳定态 | 创建实例失败时显示该状态,鼠标移入时显示启动失败的错误原因 |
|
| 运行中 | 稳定态 | 实例启动完成后,进入“运行中”状态 |
|
| 异常 | 稳定态 | 实例运行中、停止中出现故障时进入该状态,鼠标移入可显示异常的错误原因 |
|
| 停止中 | 过程态 | 点击停止操作进入该状态,进入该状态时平台将回收实例的算力资源 |
|
| 已停止 | 稳定态 | 停止操作成功后进入该状态 |
|
| 保存环境中 | 过程态 | 点击导出镜像或保存环境后进入该状态 |
|
| 删除中 | 过程态 | 点击删除环境后进入该状态,删除后该实例的所有数据无法找回 | 无 |
弹性开发机日常操作
SSH远程连接
-
点击目标开发机的登录方式,在弹窗中的SSH远程登录中选择“复制登录命令”


-
在客户端输入复制后的登录命令,即可登录开发机

VScode远程连接
- 当选择了有关VScode的公有镜像时(快速创建选择VScode环境类型),点击目标开发机的登录方式,在弹窗中的VScode客户端配置中选择“复制配置命令”

停止开发机
-
需开发机处于运行中状态,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏的停止按钮

-
点击后,开发机将变为“停止中”状态,平台将开始释放该开发机的算力资源,整个过程将持续5~10分钟,完成后,将变为“已停止”稳定状态


启动开发机
-
需开发机处于已停止状态,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏的启动按钮

-
点击后,开发机将变为“排队中”状态,如有资源则会变到“调度中”状态进行资源分配,如资源分配完成则进入“启动中”状态进行初始化配置,整个过程将持续1~3分钟,完成后将变为“运行中”稳定状态,如启动中任一阶段失败或异常,则进入“启动失败”稳定态

更新开发机
-
需开发机处于已停止状态,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏更多操作,在下拉菜单中点击“更新环境”

-
可在更新窗口中修改除开发机名称和镜像外的其他信息和配置,修改完成后将进入启动中状态

删除开发机
-
需开发机处于异常、启动失败或已停止状态,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏更多操作,在下拉菜单中点击“删除环境”,注意删除后该开发机的所有数据均会被删除(已保存在存储空间内的不受影响)

-
在二次确认弹窗中点击“删除环境”按钮执行删除操作

复制开发机
-
可基于已存在的开发机进行复制操作,从而创建与当前开发机一样配置和属性的全新开发机,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏更多操作,在下拉菜单中点击“复制环境”

-
名称会在复制的开发机中新增“-copy”,其他参数均与原有开发机保持一致,点击确定后进入创建流程

保存开发机镜像
当需要保存当前开发机的系统盘数据或应用软件包时(挂载的存储空间和模型等目录不含在内),可通过保存开发机镜像的方式进行,当下次再启动时
-
需开发机处于运行中状态,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏的保存环境按钮

-
点击后将进入“保存镜像中”状态,平台将把当前的配置保存为临时镜像存入镜像仓库中,整个过程将持续10~20分钟,最终将回归“运行中”状态

导出开发机镜像
如需将开发机的配置作为标准镜像,以便用于配置其他开发机或模型训练、模型推理的基础镜像,则需要通过导出镜像将当前配置作为私有镜像
-
需开发机处于已停止状态,仅支持创建人和租户管理员进行操作,在弹性开发机列表页点击目标开发机操作栏更多操作,在下拉菜单中点击“导出环境”

-
在镜像保存弹框中,填入相应的参数,包括
-
名称:需填入镜像名称,1~32位,支持大小写英文、汉字、数字以及(/ | - .)特殊字符,且必须唯一
-
适用场景:需选择一个镜像的适用场景作为镜像的属性
-
适用卡型:当前镜像可适用的加速卡类型,可多选
-
镜像类型:支持个人、项目、企业三个级别的类型,个人仅创建者可用,项目级别支持项目下共享,企业级别支持整个租户下共享
-
镜像描述:可选,支持对镜像进行描述和说明

-
点击后将进入“保存镜像中”状态,平台将把当前的配置保存为镜像存入镜像仓库中,整个过程将持续10~20分钟,最终将回归“运行中”状态

修改开发机名称
-
点击列表中的开发机名称可进入开发机的详情页面,并点击名称旁边的编辑按钮进入编辑页面


-
输入相应名称(需满足名称规则)并点击确定可以完成修改


修改开发机标签
- 鼠标移至列表中的开发机的标签处,点击编辑按钮进入标签编辑弹窗

-
编辑所需的标签信息,点击确定可完成标签的修改

弹性开发机日常维护
查看基础环境信息
-
点击列表中的开发机名称可进入开发机的详情页面,点击“基础信息”tab,可查看开发机的各项配置信息

查看开发机实时监控
-
点击列表中的开发机名称可进入开发机的详情页面,点击“实时监控”tab,可查看开发机的CPU利用率、GPU利用率等各类实时监控指标

查看开发机实时事件
- 点击列表中的开发机名称可进入开发机的详情页面,点击“环境事件”tab,可查看开发机的POD级别事件

查看开发机操作日志
-
点击列表中的开发机名称可进入开发机的详情页面,点击“操作审计”tab,可查看开发机的操作审计日志信息
