1. 概述
自 V3.19.0 版本（2025-03-25发布）起，帆软大模型已升级至 vLLM 框架并全面兼容 OpenAI 接口。
如需将帆软大模型旧版本升级至最新版，请按本文操作。
2. 操作步骤
1）进入 llm 容器。
docker exec -it llm /bin/bash
2）查看正在运行的服务进程 ID。
ps -ef | grep app.py
3）杀掉进程。
kill -15 进程ID
4）用 vllm 重新启动服务，重启后的服务可以兼容 OpenAI 接口。
# 进入 /home/ 目录，用 vllm 启动服务，最后把标准输出和标准错误输出重定向到 /home/fine_llm.log 文件
cd /home/ && \
vllm serve qwen2_5_sft_0929 \
--max-model-len 12288 \
--dtype float16 \
--host 0.0.0.0 \
--port 8020 \
>> /home/logs/fine_llm.log 2>&1 &
5）查看日志，观测服务是否成功启动。
# 查看日志的最后 200 行
tail -200f /home/logs/fine_llm.log
若出现以下信息则表示服务启动成功：
6）依次按下 Ctrl+P 和 Ctrl+Q 退出 Docker 容器。
