昇腾 msmodelslim w8a8量化代码解析_昇腾模型量化-CSDN博客文章浏览阅读37次。最近有很多朋友都在部署deepseek模型，而且都用到了模型量化这个功能，目的是减少显存占用、提升推理速度。量化算法流程上图是算法流程，主要包含4步：①，使用昇腾 msmodelslim 仓库提供的量化接口对原始模型权重进行量化，生成int8格式的权重文件，以及后续在推理的时候要用到的激活值的量化参数和 matmul 结果的反量化参数；②，推理执行过程中，把Matmul的激活值（也就是输入X）进行int8量化；③，执行int8格式的Matmul计算；④，把int8的乘法结果进行反量化。_昇腾模型量化 https://blog.csdn.net/weixin_42619941/article/details/146800184

Logo
昇腾社区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

昇腾AI自学Day2-- 深度学习基础工具与数学

avatar 昇腾社区

2024-2025华为ICT大赛中国区 实践赛昇腾AI赛道(高教组)全国总决赛 理论部分真题+解析

本文为2024-2025华为ICT大赛 中国区 全国总决赛 实践赛 昇腾AI赛道 高教组 理论部分考试真题以及对应详细解析，涵盖昇腾AI全栈系统模块6题、模型训练与调优模块8题、模型推理与应用模块6题。

avatar 昇腾社区
cover

昇腾AI自学Day1-- 深度学习基础工具与数学

avatar 昇腾社区