transformers 로드 오류
#2
by
junujunu
- opened
FileNotFoundError: [Errno 2] No such file or directory: '/nfs/train/llm-ko-lab/Synatra-Mixtral-8x7B-exl2/pytorch_model-00001-of-00019.bin'
pytorch_model.bin.index.json 파일 때문에 생기는 것처럼 보이는데요
이 레포는 exl2 양자화 모델 레포입니다. exllamav2로 로딩해야 사용 할 수 있습니다.
transformers 쓰시려면 https://huggingface.co/maywell/Synatra-Mixtral-8x7B 사용해주세요.
감사합니다
junujunu
changed discussion status to
closed