YAML Metadata Warning: empty or missing yaml metadata in repo card (https://huggingface.co/docs/hub/model-cards#model-card-metadata)

MiniCPM4-0.5B RKLLM Models Test Repository

这是一个测试仓库,用于存储和管理MiniCPM4-0.5B的RKLLM模型文件。

📋 模型列表

🎯 推荐模型:GPTQ版本

  • 文件名: MiniCPM4-0.5B-QAT-Int4-GPTQ-format_w4a16_g32_RK3576.rkllm
  • 大小: 471MB
  • 特点: 完美支持embedding输入
  • 测试结果: 余弦相似度 1.0,Top-50重叠率 100%

⚠️ 限制模型:Per-Channel版本

  • 文件名: Minicpm4-0.5B-QAT-Int4-perChannel_w4a16_RK3576.rkllm
  • 大小: 414MB
  • 特点: 仅推荐token输入
  • 问题: embedding输入会产生EOS tokens

📊 测试发现

我们发现了一个反直觉的现象:量化模型比原始模型更一致

模型类型 余弦相似度 Top-50重叠 状态
GPTQ量化 1.0000 100% ✅ 完美
Per-Channel N/A N/A ❌ 产生EOS
原始FP16 0.5946 7.85% ⚠️ 不一致

🚀 使用方法

# 下载模型
huggingface-cli download okletsgg/minicpm-rkllm-test

🔧 硬件要求

  • 硬件: RK3576
  • 内存: 建议4GB+
  • 存储: 根据模型大小预留空间

📝 更新日志

  • 2024-01: 完成量化效应对embedding输入影响的测试
  • 2024-01: 发现GPTQ量化模型的完美对齐特性
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support