Jackrong/Seed-OSS-36B-Instruct-MLX-4BIT

Seed-OSS-36B-Instruct (MLX 4-bit)

模型简介

这是 ByteDance Seed-OSS-36B-Instruct 模型的 MLX 4bit 量化版本，专门优化用于 Apple Silicon 设备。

4-bit quantized version optimized for Apple Silicon devices

模型规格

• 原始模型: ByteDance-Seed/Seed-OSS-36B-Instruct
• 参数量: 36,151,104,512 (36.15B)
• 量化: 4bit (group_size=64)
• 文件大小: 18.9GB
• 平台: Apple Silicon (M1/M2/M3/M4)
• 框架: MLX

性能指标

指标	数值
加载时间	~5-6秒
推理速度	~11秒/50个token
内存占用	~20GB
文件大小	18.9GB

使用方法

安装依赖

pip install mlx-lm

基本使用

import mlx_lm

# 加载模型
model, tokenizer = mlx_lm.load("Jackrong/Seed-OSS-36B-Instruct-MLX-4bit")

# 生成文本
response = mlx_lm.generate(
    model, tokenizer,
    "Hello, how are you?",
    max_tokens=200
)
print(response)

高级配置

response = mlx_lm.generate(
    model, tokenizer,
    prompt="Explain quantum computing",
    max_tokens=500,
    temperature=0.7,
    top_p=0.9
)

系统要求

• 硬件: Apple Silicon (M1/M2/M3/M4)
• 内存: 至少32GB RAM (推荐64GB+)
• 软件: macOS 12.0+
• Python: 3.8+

兼容性

⚠️ 重要: 此MLX格式模型仅适用于Apple Silicon设备。

如果您需要在其他平台使用，请考虑：

• 使用原始的transformers格式: ByteDance-Seed/Seed-OSS-36B-Instruct
• 或转换为其他量化格式 (GGUF, AWQ等)

下载统计

• 总参数: 36,151,104,512
• 量化参数: 4bit with group_size=64
• 压缩率: ~75% (相比FP16)

许可证

遵循原始模型的许可证条款。

致谢

• 原始模型: ByteDance-Seed/Seed-OSS-36B-Instruct
• MLX框架: MLX