| datasets: | |
| - HuggingFaceH4/ultrachat_200k | |
| language: | |
| - en | |
| - zh | |
| base_model: | |
| - deepseek-ai/DeepSeek-R1-Distill-Qwen-32B | |
| DeepSeekR1蒸馏Qwen2.5 32B版本经过Int4 GPTQ Marlin算法量化的版本，推荐RTX4090 24GB 2块GPU推理，性能达到1700tokens/秒，最优并发128同时使用。 | |
| 比PF16版本性能相当，ceval评测82.3，显存降低50% |