lmdeploy 支持类openai api方式启动这个模型吗?
#2
by
william0014
- opened
lmdeploy 支持类openai api方式启动这个模型吗? 支持图片推理并发吗?
大概什么时候可以支持lmdeploy或者vllm推理框架呢?
readme更新了，用lmdeploy部署成openai格式的api，我测试过了可以正常运行。
czczup
changed discussion status to
closed