资讯
元象大模型团队于3月28日宣布正式开源涵盖30种量化处理版本的大模型集合，此举旨在赋能广大开发者及企业无缝对接vLLM和llama.cpp等前沿深度学习框架进行高效量化推理工作，并延续其一贯承诺，所有量化版本均无条件允许免费用于商业用途。
对量化前后的模型能力、推理性能进行评估，以 XVERSE-13B-GPTQ-Int4量化版本为例，量化后模型权重压缩了72%，总吞吐提高了1.5倍，同时保留了95% 的能力。
开发者可以根据技能、软硬件配置和具体需求选择不同推理框架和数据精度的模型。如果本地资源有限，可以直接调用元象大模型的 API 服务（chat.xverse.cn）。
总体来说，元象大模型的开源量化版本提供了方便快捷的部署方式，可以根据需求选择不同的框架和精度模型进行部署和推理。
文明上网，理性发言，共同做网络文明传播者