一键部署后端服务

本文档为可视化服务和项目后端的一键式部署方案,使用此脚本后则无需部署后续的visualization 可视化服务backend 项目后端

可视化服务为「天枢平台」提供了OneFlow框架下的训练可视化功能,需要与平台前端、后端搭配使用。

一键式部署的可视化服务:

  • http 服务:采用python django 开发,负责前后端数据的接收与返回。
  • parser 服务:负责解析可视化日志文件,记录用户的活跃状态与监听可视化日志。
  • monitor 服务:负责监视用户是否为活跃状态,若用户非活跃则向 parser 发送 kill user 消息。

一键式部署的项目后端服务:

  • dubhe-admin 服务:应用服务。
  • dubhe-task 服务:定时任务服务。
  • dubhe-serving-gateway 服务:云端serving网关服务。

一键部署

note

特别提醒:

  1. 一键部署服务均为docker服务,请提前在服务器安装docker,安装方式请参考Harbor 私有云仓库

  2. 修改 docker 的配置文件 daemon.json 文件

    # 在daemon.json 文件中添加harbor镜像推送配置
    insecure-registries": ["https://${harbor域名}"],
    # 在daemon.json 文件中添加Docker日志文件配置(设置服务在docker内打印日志文件上限)
    "log-driver":"json-file",
    "log-opts": {"max-size":"50m", "max-file":"1"}
    # 修改完成后执行如下命令重新加载配置和重启
    systemctl daemon-reload
    systemctl restart docker
  3. 执行此脚本前请先根据实际情况修改可视化与项目后端源码配置文件,创建DB及文件路径,具体请参考visualization 可视化服务backend 项目后端

  4. 若部署项目时已构建镜像,不在重复构建镜像,直接启动服务,可以在启动脚本时选择[nN]

执行脚本进行部署

下载部署脚本和项目源码:
$ wget http://tianshu.org.cn/static/upload/file/dubheDeployScriptfile.zip
$ git clone http://repo.codelab.org.cn/codeup/codelab/Dubhe.git
解压:
$ unzip dubheDeployScriptfile.zip
将入口脚本拷贝至项目根源码目录下
$ cp dubheDeployScriptfile/visual_backend/deploy-docker.sh /Dubhe
将可视化部署脚本拷贝至可视化源码目录下
$ cp dubheDeployScriptfile/visual_backend/dubhe-visual-server/deploy-visual-docker.sh /Dubhe/dubhe-visual-server
$ cp dubheDeployScriptfile/visual_backend/dubhe-visual-server/Dockerfile /Dubhe/dubhe-visual-server
用编辑器打开可视化源码目录下脚本配置文件,按要求(需求)修改配置:
$ vim /Dubhe/dubhe-visual-server/deploy-visual-docker.sh
将项目后端部署脚本拷贝至项目后端源码目录下
$ cp dubheDeployScriptfile/visual_backend/dubhe-server/deploy-backend-docker.sh /Dubhe/dubhe-server
$ cp dubheDeployScriptfile/visual_backend/dubhe-server/Dockerfile /Dubhe/dubhe-server
用编辑器打开项目后端源码目录下脚本配置文件,按要求(需求)修改配置:
$ vim /Dubhe/dubhe-server/deploy-backend-docker.sh
进入项目根源码目录下,执行入口脚本:
$ cd /Dubhe
$ source deploy-docker.sh prod
# 查询结果
$ ps -ef | grep java
$ docker ps
note

特别提醒: 若想只部署可视化,可执行:

进入可视化源码目录下
$ cd /Dubhe/dubhe-visual-server
$ source deploy-visual-docker.sh

若想只部署项目后端,可执行:

进入后端源码目录下
$ cd /Dubhe/dubhe-server
$ source deploy-backend-docker.sh prod
Last updated on