模型对单卡显存有要求吗
#3
by
jamzhou
- opened
模型对单卡显存有要求吗，把各参数都调整小了，依然OOM
python3 video_generate.py --model_id /data/SkyReels-V1-Hunyuan-T2V --task_type t2v --video_num 1 --guidance_scale 1.0 --num_inference_steps 1 --height 1 --width 1 --num_frames 1 --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" --embedded_guidance_scale 1.0 --gpu_num 2 --quant --offload --high_cpu_memory --parameters_level
以上是在两张1080ti上跑的，1080ti的显存是11G，两张共22G，跑的时候在load模型就OOM了。
迁移到一张4090显卡的机器上，就可以跑了。跑960*544大小的视频只占用18.4G显存。按理两张1080ti应该是满足的，不知OOM的原因是什么。有知道的大佬还请指教指教~