vllm

app.py

@@ -340,6 +340,12 @@ def main(args: argparse.Namespace):
     )
 
 if __name__ == "__main__":
+    print("start serving vllm")
+    script_path = os.path.join(os.path.dirname(__file__), "serve_vllm.sh")
+    subprocess.Popen(["bash", script_path])
+    time.sleep(300)
+    print("finiashed loading vllm")
+
     args = parse_args()
     print(args)
     main(args)

start.sh → serve_vllm.sh

@@ -11,32 +11,6 @@ python -m vllm.entrypoints.openai.api_server \
     --port 8080
 
 SERVICE_URL="http://localhost:8080/v1/models"
-TIMEOUT=300      # 最大等待秒数
+TIMEOUT=500      # 最大等待秒数
 INTERVAL=5       # 检测间隔秒数
 ELAPSED=0
-
-echo "[*] 等待 vLLM 服务启动，最长等待 ${TIMEOUT}s ..."
-
-while true; do
-    # 尝试请求模型列表接口，检查是否包含指定模型
-    if curl -s "$SERVICE_URL" | grep -q "moonshotai"; then
-        echo "✅ vLLM 服务已成功启动！"
-        break
-    fi
-
-    if [ $ELAPSED -ge $TIMEOUT ]; then
-        echo "❌ 等待超时，vLLM 服务未启动成功。"
-        exit 1
-    fi
-
-    echo "⏳ 服务尚未就绪，等待 ${INTERVAL}s 后重试..."
-    sleep $INTERVAL
-    ELAPSED=$((ELAPSED + INTERVAL))
-done
-
-# 这里写部署成功后要执行的命令
-echo "[*] 现在执行后续操作..."
-
-# 例如启动前端服务、运行测试脚本等
-# ./start_frontend.sh
-python app.py