MindStudio ModelSlim

Simple, fast, and lean—msModelSlim is all you need.

昇腾模型压缩工具

简体中文 | English

✨ 最新消息

🔹 [2026.09.03]

• 新增对 Step-3.7-Flash（W8A8 MXFP8）多模态模型的量化支持

🔹 [2026.08.07]

• 多模态理解模型支持多卡分布式逐层量化，提升多模态理解模型量化效率
• 新增对 Kimi-K3（W4A8）模型的量化支持

🔹 [2026.09.02]

• 完善 Gemma4 Dense gemma-4-31B-it 的 MXFP8/MXFP4 混合量化最佳实践
• 完善 Gemma4 MoE gemma-4-26B-A4B-it 的 MXFP8/MXFP4 混合量化最佳实践

🔹 [2026.07.15]

• 新增对 Gemma4 Dense gemma-4-31B-it（W8A8）、Gemma4 MoE gemma-4-26B-A4B-it（W8A8）模型的量化支持

🗂️ 更多历史更新（点击展开）

🔹 [2026.07.07]

• 新增对腾讯混元 Hy3（W8A8）模型的量化支持

🔹 [2026.06.01]

• 新增对 InternVL3_5-38B（W8A8）、InternVL3_5-241B-A28B（W8A8）模型的量化支持
• 新增对 Kimi-K2.6（W4A8）模型的量化支持

🔹 [2026.04.01]

• 新增对 DeepSeek-V4-Flash（W8A8）模型的量化支持
• 新增对 Kimi-K2.5（W4A8）模型的量化支持

📄 更多历史更新记录，请参见《最新消息》。

---

ℹ️ 简介

MindStudio ModelSlim（msModelSlim） 是昇腾生态下的高性能模型压缩工具，支持稠密LLM、MoE及多模态模型的量化与压缩。开发者可通过命令行与配置快速调优并导出适配 MindIE、vLLM-Ascend 等框架的模型，在昇腾AI处理器上高效部署。

它能为你带来什么：

• 🚀 推理加速：量化后显著降低显存占用，提升推理吞吐与部署成本效率（例如 Qwen3.6-27B 模型原始权重50+GB，量化后30+GB，显存节约40%）。
• 🎯 开箱即用：集成主流大模型量化最佳实践，msmodelslim quant 一条命令完成量化。
• 🔧 精度可控：提供敏感层分析、自动调优与精度反馈闭环，量化精度可量化、可调优。
• 🧩 生态友好：导出的量化权重无缝接入 vLLM-Ascend 等主流推理框架。

---

🚀 快速开始

手把手教你完成端到端模型量化，请参见《快速入门》：

---

📦 安装指南

msModelSlim已发布到PyPI，可通过pip直接安装。

# 安装 msModelSlim（最新版本已更新到PyPI源）
pip install msmodelslim

# 验证安装：打印命令行帮助信息即表示安装成功
msmodelslim --help

更多安装方式，请参见《安装指南》。

---

📘 使用指南

想了解msModelSlim如何使用？ 可按需选择入口：

业务流程	对应工具/功能
《新模型量化调优流程》	权重量化、敏感层分析
《精度调优方法》	敏感层分析、自动调优、调试模式
《主流模型量化部署》	一键量化
《量化推理精度异常定位》	调试模式

更多使用指南，请参见《使用指南》。

---

📚 知识库

不懂 W4A8/W8A8 等量化术语？ 请参见《推理加速知识库》。

---

💡 典型案例

需要模型量化调优的典型场景？ 请参见《msModelSlim 典型案例》。

---

❓ FAQ

遇到了问题？ 请参见《FAQ》。

---

🌌 智能检索

为提升文档查阅效率，我们提供多种高效检索方式：
🔹 AI 智能体（msagent）：msModelSlim 量化能力已集成至 msagent 智能体，通过自然语言交互即可自动完成模型量化任务。
🔹 AI 问答（DeepWiki）：自然语言问答，快速把握项目架构与模块关系。

---

🛠️ 贡献指南

想要贡献力量？ 具体请参见《贡献指南》。

---

⚖️ 相关说明

🔹 《版本说明》
🔹 《许可证声明》
🔹 《安全声明》
🔹 《免责声明》

---

🤝 建议与交流

欢迎大家为社区做贡献。如果有任何疑问或建议，请提交 Issues，我们会尽快回复。感谢您的支持。

即时互动（微信群）	官方资讯（公众号）	深度支持（助手/论坛）
扫码加入技术交流群	扫码关注官方公众号	扫码入群并关注公众号，直达 MindStudio 用户与开发者最快捷的交流平台： 快速提问： 与社区小伙伴即时探讨技术问题 掌握动态： 第一时间获取版本发布与功能更新通知 经验共享： 与广大开发者交流最佳实践与实战心得 更多支持渠道：👉 昇腾助手： 👉 昇腾论坛：

---

🙏 致谢

本工具由华为公司的下列部门联合贡献：
🔹 昇腾计算MindStudio开发部
🔹 昇腾计算生态使能部
🔹 昇腾计算技术开发部
🔹 2012实验室

感谢来自社区的每一个 PR，欢迎贡献！