创建在线服务

1. 数据准备:在创建在线服务/批量服务之前,请确保已经准备好训练管理/模型管理可用的框架和相应的算法供新建服务使用。

还没准备好?请看这里:

模型管理-自建模型

训练管理-保存模型

2. 点击左上角「创建在线服务」按钮,在弹出「创建在线服务」窗口中写入信息。

图 1 创建在线服务
图 1 创建在线服务
note
  1. 用户可自定义在线服务名称,仅支持字母、数字、汉字、英文横杠和下划线、字符长度不能超出 32,在线服务名称不可重复( ID 为自动递增)。
  2. 服务类型,可选「HTTP」或「GRPC」模式。
  3. 描述(可选),字符长度不能超出 200。
  4. 模型类型,可选「我的模型」或「预训练模式」模型。
  5. 节点类型,可选「CPU」或「GPU」类型。
  6. 模型,此下拉框的内容会根据选用的模型类型变化。
  7. 节点规格,此下拉框的内容会根据选用的节点类型变化。
  8. 灰度发布分流(%),单版本默认 100%,多版本可根据适用场景调配百分比(%),整体满足 100% 即可。
  9. 节点数,默认为 1,多版本可根据适用场景调配节点数,整体配置最大值不超出 10 节点即可。
  10. signature_name (可选),默认为 serving_default,填写错误可能会导致运行失败。
  11. reshape_size (可选),图片预处理形状 「H, W」,默认为 ImageNet图片大小,填写错误可能会导致运行失败。
  12. prepare_mode (可选),Keras/Tensoflow 模型预处理模式,可选 tfhub、caffe、tf、torch,默认为 tfhub,填写错误可能会导致运行失败。
  13. model_structure (可选),Pytorch 模型保存网络名称,默认为 model,填写错误可能会导致运行失败。
  14. job_name (可选),Oneflow 模型推理 job 名称,默认为 inference,填写错误可能会导致运行失败。

3. 数据输入完毕后点击提交,将跳转至在线服务列表页面且该条新建任务状态变为部署中。

图 2 创建在线服务成功
图 2 创建在线服务成功
note

服务状态转变为运行中说明容器已启动成功,但模型加载需要一定时间,因此部署完成的模型需一段时间后才能成功预测,请耐心等待。

注: 出现运行失败可能的原因如下:

  1. 新建/编辑/fork时,CPU/GPU配置的节点数或规格资源不足。
  2. 新建/编辑/fork时,参数配置或模型错误。
Last updated on