metadata

license: llama3.3
base_model: meta-llama/Llama-3.3-70B-Instruct
tags:
  - awq
  - quantized
  - 4bit
  - llama
  - instruct
library_name: transformers
pipeline_tag: text-generation

Llama-3.3-8B-Instruct-AWQ

这是 Meta Llama 3.3 8B Instruct 模型的 AWQ 量化版本。

模型描述

基础模型: meta-llama/Llama-3.3-70B-Instruct
量化方法: AWQ (Activation-aware Weight Quantization)
精度: 4-bit
用途: 文本生成、对话、指令跟随

使用方法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_name = "crazymaker1122/Llama-3.3-8B-Instruct-awq-direct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 生成文本
prompt = "你好，请介绍一下你自己。"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

量化信息

此模型使用 AWQ 方法进行量化，具有以下特点：

大幅减少内存占用
保持良好的生成质量
支持快速推理

注意事项

需要支持 AWQ 的推理框架
建议使用 GPU 进行推理
量化可能会略微影响模型性能

许可证

请遵循原始 Llama 3.3 模型的许可证条款。