AMD-Quark量化工具入门：手把手教你将GLM-5转换为NVFP4格式

【免费下载链接】GLM-5-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/GLM-5-NVFP4

AMD-Quark量化工具是一款高效的模型优化工具，能够将GLM-5模型转换为NVFP4格式，显著提升模型在AMD硬件上的运行效率。本文将为你提供详细的操作指南，帮助你轻松完成模型量化过程。

什么是NVFP4格式？

NVFP4是一种专为AMD硬件优化的量化格式，能够在保持模型性能的同时，大幅减少模型大小和计算资源消耗。通过将模型权重和激活值量化为NVFP4格式，可以有效提升模型的推理速度，降低内存占用。

准备工作

在开始量化之前，确保你的系统满足以下要求：

• 操作系统：Linux
• ROCm版本：7.2.2
• PyTorch版本：2.10.0
• Transformers版本：5.2.0
• 硬件要求：AMD MI300/MI350/MI355（或支持模拟的设备）

首先，克隆项目仓库：

git clone https://gitcode.com/hf_mirrors/amd/GLM-5-NVFP4

量化步骤

1. 环境配置

设置系统参数，确保足够的内存映射空间：

sudo sysctl -w vm.max_map_count=4194304

2. 进入量化脚本目录

cd Quark/examples/torch/language_modeling/llm_ptq/

3. 设置环境变量

export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 export MODEL_DIR=zai-org/GLM-5 export output_dir=amd/GLM-5-NVFP4

4. 执行量化命令

exclude_layers="*self_attn* *mlp.gate *lm_head *mlp.gate_proj *mlp.up_proj *mlp.down_proj" python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme nvfp4 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --model_export hf_format \ --output_dir $output_dir \ --multi_gpu balanced

量化配置详解

量化过程中，我们使用了以下关键配置（来自config.json）：

• 量化方案：NVFP4
• 校准数据量：128
• 排除层：注意力层、MLP门控层等关键组件
• 权重量化：MOE-only, NVFP4, Static
• 激活量化：MOE-only, NVFP4, Dynamic

这些配置确保了在量化过程中不会损失关键层的性能，同时最大化量化收益。

部署与评估

使用vLLM部署

量化后的模型可以通过vLLM高效部署：

export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 export VLLM_ROCM_USE_AITER=1 export VLLM_ROCM_USE_AITER_MLA=1 export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 export PYTORCH_ALLOC_CONF=expandable_segments:True lm_eval \ --model vllm \ --model_args pretrained=amd/GLM-5-NVFP4,tensor_parallel_size=8,max_model_len=4096,gpu_memory_utilization=0.90,enforce_eager=True,max_gen_toks=2048,kv_cache_dtype=bfloat16,trust_remote_code=True \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto

性能评估

在GSM8K基准测试中，量化后的模型表现优异：

这表明NVFP4量化在几乎不损失性能的情况下，显著提升了模型效率。

总结

通过AMD-Quark工具将GLM-5模型转换为NVFP4格式是一个简单而高效的过程。只需按照本文提供的步骤，你就能轻松完成模型量化，并在AMD硬件上获得出色的性能表现。赶快尝试一下，体验量化带来的效率提升吧！🚀

参考资料

• 量化脚本：quantize_quark.py
• 模型配置：config.json
• 生成配置：generation_config.json

【免费下载链接】GLM-5-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/GLM-5-NVFP4