模型优化简介

近年来,随着深度学习的飞速发展,深度神经网络也受到了越来越多的关注,并且在许多应用领域都取得了显著成果。通常,在较高的计算量下,深度神经网络的学习能力会随着网络层深度的增加而不断提高。因此,深度神经网络在大型数据集上的表现非常卓越。然而,由于复杂的深度神经网络消耗了高额的存储空间和计算资源,使其很难落实到各个硬件平台。为了解决以上问题,本平台研发了用于计算机视觉应用领域和自然语言处理应用领域的模型优化技术。计算机视觉应用领域主要包括通道剪枝、随机剪枝等模型压缩技术;自然语言处理应用领域涉及多种知识蒸馏技术;本平台另一个特色是支持服务器端的量化部署。

模型优化业务架构

图 1 模型优化业务整体架构
图 1 模型优化业务整体架构

模型优化操作流程

围绕以上要点,我们整理了一份完整的模型优化操作流,并对其中重点模块进行详细介绍:

图 2 模型优化操作流程
图 2 模型优化操作流程
Last updated on