8张80G显存的8卡A100能部署不？
#9
by
Yuxin362
- opened
如题
这个显存容量绰绰有余了
可以 sglang跑起来 大概80tps输出
用vllm 部署的OOM了 ，八张80G A100
用vllm 部署的OOM了 ，八张80G A100
同样
用vllm 部署的OOM了 ，八张80G A100
大概率是你的启动参数设置问题，或者是vllm的bug。640GB应该能轻松运行这个模型。
如题
这个显存容量绰绰有余了
可以 sglang跑起来 大概80tps输出
用vllm 部署的OOM了 ，八张80G A100
用vllm 部署的OOM了 ，八张80G A100
同样
用vllm 部署的OOM了 ，八张80G A100
大概率是你的启动参数设置问题，或者是vllm的bug。640GB应该能轻松运行这个模型。