Inference hatası
Readme dosyasında örnek olarak paylaştığınız kodu Colab ortamında denedim fakat bu hatayı alıyorum:
ValueError Traceback (most recent call last)
in <cell line: 0>()
1 from unsloth import FastVisionModel
2 device = "cuda" # veya "cpu"
----> 3 model, tokenizer = FastVisionModel.from_pretrained(
4 "OrionCAF/qwen2_5_turkish_vlm",
5 load_in_4bit = True, # fp16 yüklüyorsanız False yapın
8 frames
/usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_4bit.py in create_quantized_param(self, model, param_value, param_name, target_device, state_dict, unexpected_keys)
210 param_name + ".quant_state.bitsandbytes__nf4" not in state_dict
211 ):
--> 212 raise ValueError(
213 f"Supplied state dict for {param_name} does not contain bitsandbytes__* and possibly other quantized_stats components."
214 )
ValueError: Supplied state dict for model.visual.merger.mlp.0.weight does not contain bitsandbytes__* and possibly other quantized_stats components.
Çözümünü biliyor musunuz? Farklı bir ortamda mı denemeliyim? Teşekkürler
load_in_4bit = False yapın düzelir readmeyi düzeltiyorum teşekktürler
Maalesef yeni kodu deneyince de aynı hatayı alıyorum, checkpoint'lerle veya modelle ilgili bir sorun olabilir.