升級帆軟大模型（fineLLM）

自 V3.19.0 版本（2025-03-25發佈）起，帆軟大模型已升級至 vLLM 框架並全面相容 OpenAI API。

如需將帆軟大模型舊版本升級至最新版，請按本文操作。

1）進入 llm 容器。

docker exec -it llm /bin/bash

2）查看正在運作的服務進程 ID。

ps -ef | grep app.py

3）殺掉進程。

kill -15 進程ID

4）用 vllm 重新啟動服務，重啟後的服務可以相容 OpenAI API。

# 進入 /home/ 目錄，用 vllm 啟動服務，最後把標準匯出和標準錯誤匯出重定向到 /home/fine_llm.log 檔案
cd /home/ && rm -rf logs && mkdir logs && \
vllm serve qwen2_5_sft_0929 \
--max-model-len 12288 \
--dtype float16 \
--host 0.0.0.0 \
--port 8020 \
>> /home/logs/fine_llm.log 2>&1 &

5）查看日誌，觀測服務是否成功啟動。

# 查看日誌的最後 200 列
tail -200f /home/logs/fine_llm.log

若出現以下資訊則表示服務啟動成功：

6）依次按下 Ctrl+P 和 Ctrl+Q 跳出 Docker 容器。