部署模型优化服务

总览

模型优化为「天枢平台」提供了 OneFlow 模型压缩的功能。

部署方式

  • 基于kubernetes部署

基于kubernetes部署

note
  • 环境准备

在 docker 环境下,使用下面脚本另存为 DockerFile 文件并执行生成镜像并推送到 harbor 中。

FROM nvidia/cuda:10.2-cudnn7-devel-ubuntu18.04
RUN rm -rf /etc/apt/sources.list.d && apt update && apt install -y build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev wget
RUN wget https://www.python.org/ftp/python/3.6.11/Python-3.6.11.tgz && \
tar -zxvf Python-3.6.11.tgz && \
rm -rf Python-3.6.11.tgz && \
cd Python-3.6.11 && ./configure prefix=/usr/local/python3 && \
make && make install && \
rm -rf /usr/local/Python-3.6.11 && \
rm -rf /usr/bin/python && \
rm -rf /usr/bin/python3 && \
rm -rf /usr/bin/python3.6 && \
rm -rf /usr/bin/pip && \
rm -rf /usr/bin/pip3 && \
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python && \
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3 && \
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3.6 && \
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip && \
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3 && \
pip install --upgrade pip && \
pip install https://oneflow-static.oss-cn-beijing.aliyuncs.com/pip/oneflow-0.3b3-cp36-cp36m-linux_x86_64.whl && \
pip install numpy==1.19.5 && \
pip install pandas==1.1.5 && \
pip install image==1.5.33 && \
pip install Pillow==8.1.0 && \
pip install tqdm==4.55.1
#docker build -t <your-harbor-url>/optimize/oneflow-gpu:base .

并将镜像地址配置到天枢平台后端代码的配置文件中,如:

optimize:
image: <your-harbor-url>/optimize/oneflow-gpu:base
  • 获取模型压缩算法

拉取 Dubhe git 仓库最新源码至本地,再进入根目录;

在 nfs 服务器中下载模型压缩算法

cd Dubhe/model_compress

上述模型压缩算法中包含剪枝、量化、知识蒸馏三种模型压缩策略,算法详情请参考 Dubhe/model_compress/README.md 文档。

Last updated on