升级帆软大模型（fineLLM）

自 V3.19.0 版本（2025-03-25发布）起，帆软大模型已升级至 vLLM 框架并全面兼容 OpenAI 接口。

如需将帆软大模型旧版本升级至最新版，请按本文操作。

1）进入 llm 容器。

docker exec -it llm /bin/bash

2）查看正在运行的服务进程 ID。

ps -ef | grep app.py

3）杀掉进程。

kill -15 进程ID

4）用 vllm 重新启动服务，重启后的服务可以兼容 OpenAI 接口。

进入 /home/ 目录，通过 vllm 启动服务，并将日志记录在 /home/fine_llm.log 文件

cd /home/ && rm -rf logs && mkdir logs && vllm serve qwen2_5_sft_0929 --max-model-len 16K --dtype float16 --host 0.0.0.0 --port 8020 >> /home/logs/fine_llm.log 2>&1 &

5）查看日志，观测服务是否成功启动。

tail -200f /home/logs/fine_llm.log

若出现以下信息则表示服务启动成功：

6）依次按下 Ctrl+P 和 Ctrl+Q 退出 Docker 容器。