YAML Metadata
Warning:
empty or missing yaml metadata in repo card
(https://huggingface.co/docs/hub/model-cards#model-card-metadata)
MiniCPM4-0.5B RKLLM Models Test Repository
这是一个测试仓库,用于存储和管理MiniCPM4-0.5B的RKLLM模型文件。
📋 模型列表
🎯 推荐模型:GPTQ版本
- 文件名:
MiniCPM4-0.5B-QAT-Int4-GPTQ-format_w4a16_g32_RK3576.rkllm
- 大小: 471MB
- 特点: 完美支持embedding输入
- 测试结果: 余弦相似度 1.0,Top-50重叠率 100%
⚠️ 限制模型:Per-Channel版本
- 文件名:
Minicpm4-0.5B-QAT-Int4-perChannel_w4a16_RK3576.rkllm
- 大小: 414MB
- 特点: 仅推荐token输入
- 问题: embedding输入会产生EOS tokens
📊 测试发现
我们发现了一个反直觉的现象:量化模型比原始模型更一致!
模型类型 | 余弦相似度 | Top-50重叠 | 状态 |
---|---|---|---|
GPTQ量化 | 1.0000 | 100% | ✅ 完美 |
Per-Channel | N/A | N/A | ❌ 产生EOS |
原始FP16 | 0.5946 | 7.85% | ⚠️ 不一致 |
🚀 使用方法
# 下载模型
huggingface-cli download okletsgg/minicpm-rkllm-test
🔧 硬件要求
- 硬件: RK3576
- 内存: 建议4GB+
- 存储: 根据模型大小预留空间
📝 更新日志
- 2024-01: 完成量化效应对embedding输入影响的测试
- 2024-01: 发现GPTQ量化模型的完美对齐特性
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support