本地服務-連結帆軟大模型

本文將介紹 FineChatBI 如何連結帆軟大模型（圖中藍色遠端部分），總共需要有三個步驟：

1）部署帆軟大模型。

2）在 FineChatBI 中配置大模型資訊，完成連結。

非常重要

1. FineLLM 必須部署在擁有 GPU 硬體的伺服器，且 GPU 配置符合要求。
2. 伺服器必須安裝符合要求的英偉達驅動（聯絡顯卡供應商或伺服器供應商安裝）
3. 確認伺服器安裝了 nvidia container toolkit（聯絡顯卡供應商或伺服器供應商安裝）
4. 模型體積較大，需保證伺服器擁有至少 100GB 可用空間

客戶需準備一台配備安培架構 GPU 的伺服器部署大模型，推薦使用的 GPU 型號包括 4090，A10，A100，L20，L40，L40S，A800，A40，A6000，H100，H800 等。

在為大模型準備的伺服器環境中執行本節操作。

3.0 檢查驅動

檢查英偉達驅動：執行 nvidia-smi，顯示顯卡詳情則表示驅動已安裝。

檢查 Nvidia container toolkit：執行 nvidia-container-runtime --version，顯示版本號則表示 Nvidia container toolkit 已安裝。

3.1 安裝 Docker

安裝步驟中需要使用到 Docker，請先檢查伺服器中是否已完成安裝 Docker，檢查 Docker 命令：docker --version

• 若沒有安裝則會顯示 command not found，如下圖所示，此時則需要在伺服器上安裝 Docker，安裝步驟可參考：Linux系統線上安裝Docker

• 若已安裝則會顯示 Docker 的版本資訊，如下圖所示：

3.2 上傳資源到伺服器

將安裝資源下載到伺服器指定資料夾中：

1）將 Docker 鏡像檔案下載到伺服器的指定目錄（範例路徑：/home/images），命令範例：

1. 先進入範例路徑：cd /home/images

2. 下載鏡像檔案到該路徑下：curl -O https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/fine-llm/fine-llm_v1_0.tar

2）建立 qwen_model 資料夾並下載模型檔案到伺服器，並記住 /模型所在路徑/qwen_model（範例路徑：/home/qwen_model），命令範例：

1. 進入範例路徑：cd /home/qwen_model

2. 下載模型檔案到該路徑下：curl -O https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/models/qwen_sft_0929.tar.gz

3. 解壓模型檔案：tar -zxvf qwen_sft_0929.tar.gz ，解壓後如下圖所示：

3.3 安裝 llm 容器

1）執行 docker load 命令匯入鏡像檔案。若遇到報錯“no space left on device”請查看文檔末尾的常見問題。

命令範例：docker load -i fine-llm_v1_0.tar

2）執行 docker images 命令以確認鏡像是否已成功匯入。

命令範例：docker images

3）依據已經匯入的鏡像，使用 docker run 命令建立並啟動一個新的容器，並給服務分配可使用的 GPU 資源。

命令範例如下：

docker run -it --gpus all -e CUDA_VISIBLE_DEVICES=0 -e TZ=Asia/Shanghai --name llm -d -p 8020:8020 -v /home/qwen_model/qwen2_5_sft_0929:/home/qwen2_5_sft_0929 -v /希望日誌匯出的路徑/fine_llm.log:/home/fine_llm.log fine-llm:v1.0

4）進入到容器中

docker exec -it llm /bin/bash

5）啟動服務

cd /home/ && vllm serve qwen2_5_sft_0929 --max-model-len 12288 --dtype float16 --host 0.0.0.0 --port 8020 >> /home/logs/fine_llm.log 2>&1 &

6）查看日誌，觀測服務是否成功啟動

# 查看日誌的最後 200 行tail -200f /home/logs/fine_llm.log

若出現以下資訊則表示服務啟動成功

7）依次按下 Ctrl+P 和 Ctrl+Q 跳出 Docker 容器。

進入「智慧問答配置>其他配置>大模型配置」，配置本地服務資訊，再點選儲存。如下圖所示：

測試需要大模型支撐的功能，比如：問答增強、分析思路、歸因分析，同義詞一鍵配置等，確定大模型服務在問答BI中可正常使用。