使用哪个加速推理框架比较好？
#38
by
daisr
- opened
用原生的代码generate不是很快，
尝试使用VLLM搭建类似openai 的server，但是报错了。
其他的框架可以吗？
你好，我使用vllm启动serve也是会报错，请问你解决了吗？
用原生的代码generate不是很快，
尝试使用VLLM搭建类似openai 的server，但是报错了。
其他的框架可以吗？
你好，我使用vllm启动serve也是会报错，请问你解决了吗？