metadata
datasets:
- HuggingFaceH4/ultrachat_200k
language:
- en
- zh
base_model:
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
DeepSeekR1蒸馏Qwen2.5 32B版本经过Int4 GPTQ Marlin算法量化的版本，推荐RTX4090 24GB 2块GPU推理，性能达到1700tokens/秒，最优并发128同时使用。 比PF16版本性能相当，ceval评测82.3，显存降低50%