创建批量服务

1. 数据准备:在创建在线服务/批量服务之前,请确保已经准备好训练管理/模型管理可用的框架和相应的算法供新建服务使用。

还没准备好?请看这里:

模型管理-自建模型

训练管理-保存模型

2. 点击左上角「创建批量服务」按钮,在「创建批量服务」页面中写入信息。

图 1:创建批量服务
图 1:创建批量服务
note
  1. 用户可自定义批量服务名称,仅支持字母、数字、汉字、英文横杠和下划线、字符长度不能超出 32,批量服务名称不可重复( ID 为自动递增)。
  2. 描述(可选),字符长度不能超出 200。
  3. 模型类型,可选「我的模型」或「预训练模式」模型。
  4. 模型,此下拉框的内容会根据选用的模型类型变化。
  5. 上传预测图片,图片数量不得超出 5000 张。
  6. 节点类型,可选「CPU」或「GPU」类型。
  7. 节点规格,此下拉框的内容会根据选用的节点类型变化。
  8. 节点数,默认为1,多版本可根据适用场景调配节点数,整体配置最大值不超出 10 节点即可。
  9. signature_name (可选),默认为 serving_default,填写错误可能会导致运行失败。
  10. reshape_size (可选),图片预处理形状 「H, W」,默认为 ImageNet 图片大小,填写错误可能会导致运行失败。
  11. prepare_mode (可选),Keras/Tensoflow 模型预处理模式,可选 tfhub、caffe、tf、torch,默认为 tfhub,填写错误可能会导致运行失败。
  12. model_structure (可选),Pytorch 模型保存网络名称,默认为 model,填写错误可能会导致运行失败。
  13. job_name (可选),Oneflow 模型推理 job 名称,默认为 inference,填写错误可能会导致运行失败。

3. 数据输入完毕后点击提交,将跳转至批量服务列表页面,且该条新建任务状态变为部署中。

图 2:创建批量服务成功
图 2:创建批量服务成功
note

注: 出现运行失败可能的原因如下:

  1. 新建/编辑/fork时,CPU/GPU 配置的节点数或规格资源不足。
  2. 新建/编辑/fork 时,参数配置或模型错误。
Last updated on