博客
关于我
CVPR 2020丨8比特数值也能训练模型?商汤提出训练加速新算法
阅读量:566 次
发布时间:2019-03-09

本文共 1754 字,大约阅读时间需要 5 分钟。

INT8训练技术革新:提升卷积神经网络训练效率

近年来,卷积神经网络(CNN)在计算机视觉领域的广泛应用引发了对加速训练过程的热烈讨论。为了解决浮点精度对训练过程的限制,INT8训练技术应运而生,为用户提供了低开销高效率的解决方案。

本文围绕CVPR2020入选论文《Towards Unified INT8 Training for Convolutional Neural Network》展开论述,揭示其核心技术和实践价值。

动机与背景

CNN的巨大成功源于其出色的表达能力,但训练过程却因庞大参数量和资源需求而面临挑战。目前研究主要聚焦于如何用更少资源训练CNN,同时确保模型性能不受显著影响。

神经网络量化技术已在部署阶段展现出显著优势。通过将浮点计算替换为8bit整数计算,INT8部署加速技术不仅提升了推理效率,还降低了内存占用。

携程引擎芯片的加速能力呈现出显著提升,我们测量显示,在ACLI5-Formatted的基准测试中,INT8算力可比FP32提升超过2倍。


INT8训练的核心挑战

将CNN量化技术延伸至训练阶段面临重大挑战。梯度量化涉及两个关键环节:前向传播和反向传播。尽管前向过程已有优化方案,其反向段更为棘手。

实验数据显示,梯度分布呈现出以下显著特征:

  • 梯度集中在0附近但极端值丰富,导致量化误差显著影响训练稳定性

对MobileNetV2进行训练的实验表明,INT8训练过程中预期的精度下降与损失函数突然上升存在高度相关性。


收敛稳定性分析

为理解量化误差对训练过程的影响,我们开展了理论分析。采用Adam优化器为基础,建立了损失函数为目标量的收敛分析框架。

关键发现如下:

  • 梯度量化误差直接贡献于权重更新的偏差

  • 学习率调节对稳定性至关重要

通过对模拟实验数据的系统分析,验证了上述假设的有效性。


主要方法

针对上述挑战本文提出以下创新性方法:

  • 基于方向自适应的梯度截断

    智能调整截断阈值,确保梯度方向信息不丢失。通过梯度下降策略实现最优截断点的自动寻找。

  • 误差敏感的学习率调节

    学习率与量化误差呈反向关系,提出动态调整机制以优化训练效率。

  • 周期更新技术

    借鉴量化核心反量化优化,周期性更新量化参数以降低额外开销。

  • 量化卷积融合

    将量化与反量化操作整合至卷积核函数,减少数据访存次数。


  • 实验结果

    实验验证了本文方法的有效性。CIFAR10和ImageNet分类任务中的精度损失均在1.5%以内。最佳效果出现在MobileNet和Inception网络上。

    100 epochs的训练任务显示,采用INT8训练的ResNet50+pFL.grad_backwards加速核实现了整体效率提升22%。这样修改后的模型在 کیفیت和效率间取得了较好的平衡。

    针对目标检测任务,PASCAL等数据集上的实验结果显示相应损失控制在2%以内。


    参考文献

    [1] Gong R, Liu X, Jiang S, et al. Differen-tiable soft quantization: Bridging full-precision and low-bit neural networks. ICCV, 2019.

    [2] Li R, Wang Y, Liang F, et al. Fully quantized network for object detection. CVPR, 2019.

    [3] Jacob B, Kligys S, Chen B, et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference. CVPR, 2018.

    [4] Yang Y, Wu S, Deng L, et al. Training high-performance and large-scale deep neural networks with full 8-bit integers. 2019.


    :本文以该研究为基础提问,欢迎交流与合作。如需进一步了解技术细节或投稿事宜,请访问 www.52cv.net 或关注相关研究群。

    转载地址:http://dfysz.baihongyu.com/

    你可能感兴趣的文章
    Multiple websites on single instance of IIS
    查看>>
    mysql CONCAT()函数拼接有NULL
    查看>>
    multiprocessing.Manager 嵌套共享对象不适用于队列
    查看>>
    multiprocessing.pool.map 和带有两个参数的函数
    查看>>
    MYSQL CONCAT函数
    查看>>
    multiprocessing.Pool:map_async 和 imap 有什么区别?
    查看>>
    MySQL Connector/Net 句柄泄露
    查看>>
    multiprocessor(中)
    查看>>
    mysql CPU使用率过高的一次处理经历
    查看>>
    Multisim中555定时器使用技巧
    查看>>
    MySQL CRUD 数据表基础操作实战
    查看>>
    multisim变压器反馈式_穿过隔离栅供电:认识隔离式直流/ 直流偏置电源
    查看>>
    mysql csv import meets charset
    查看>>
    multivariate_normal TypeError: ufunc ‘add‘ output (typecode ‘O‘) could not be coerced to provided……
    查看>>
    MySQL DBA 数据库优化策略
    查看>>
    multi_index_container
    查看>>
    MySQL DBA 进阶知识详解
    查看>>
    Mura CMS processAsyncObject SQL注入漏洞复现(CVE-2024-32640)
    查看>>
    Mysql DBA 高级运维学习之路-DQL语句之select知识讲解
    查看>>
    mysql deadlock found when trying to get lock暴力解决
    查看>>