本地服务-连接帆软大模型

本文将介绍 FineChatBI 如何连接帆软大模型（图中蓝色连线部分），总共需要有三个步骤：

1）部署帆软大模型。

2）部署 FineAI 服务，目的是转发代理大模型，实现 FineChatBI 与大模型的通信。

3）在 FineChatBI 中配置大模型信息，完成连接。

FineAI 服务和帆软大模型是 FineChatBI 连接大模型必需的两个不同的服务，可部署在相同/不同服务器上，按本节内容准备服务器环境。

2.1 帆软大模型环境准备

非常重要

1. FineLLM 必须部署在拥有 GPU 硬件的服务器，且 GPU 配置符合要求。
2. 服务器必须安装符合要求的英伟达驱动（联系显卡供应商或服务器供应商安装）
3. 确认服务器安装了 nvidia container toolkit（联系显卡供应商或服务器供应商安装）
4. 模型体积较大，需保证服务器拥有至少 100GB 可用空间

客户需准备一台配备安培架构 GPU 的服务器部署大模型，推荐使用的 GPU 型号包括 4090，A10，A100，L20，L40，L40S，A800，A40，A6000，H100，H800 等。

2.2 FineAI 环境准备

FineAI 的服务器配置要求相对较低，若想节省服务器优化资源使用，可以将 FineAI 服务以及语义模型部署在同一台服务器上。FineAI 部署环境要求如下表所示：

在为大模型准备的服务器环境中执行本节操作。

3.0 检查驱动

检查英伟达驱动：执行 nvidia-smi，显示显卡详情则表示驱动已安装。

检查 Nvidia container toolkit：执行 nvidia-container-runtime --version，显示版本号则表示 Nvidia container toolkit 已安装。

3.1 安装 Docker

安装步骤中需要使用到 Docker，请先检查服务器中是否已完成安装 Docker，检查 Docker 命令：docker --version

• 若没有安装则会显示 command not found，如下图所示，此时则需要在服务器上安装 Docker，安装步骤可参考：Linux系统在线安装Docker

• 若已安装则会显示 Docker 的版本信息，如下图所示：

3.2 上传资源到服务器

将安装资源下载到服务器指定文件夹中：

1）将 Docker 镜像文件下载到服务器的指定目录（示例路径：/home/images），命令示例：

1. 先进入示例路径：cd /home/images

2. 下载镜像文件到该路径下：curl -O https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/fine-llm/fine-llm_v1_0.tar

3. 解压镜像文件：gunzip fine-llm_v1_0.tar.gz

2）新建 qwen_model 文件夹并下载模型文件到服务器，并记住 /模型所在路径/qwen_model（示例路径：/home/qwen_model），命令示例：

1. 进入示例路径：cd /home/qwen_model

2. 下载模型文件到该路径下：curl -O https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/models/qwen_sft_0929.tar.gz

3. 解压模型文件：tar -zxvf qwen_sft_0929.tar.gz ，解压后如下图所示：

3.3 安装 llm 容器

1）执行 docker load 命令导入镜像文件。若遇到报错“no space left on device”请查看文档末尾的常见问题。

命令示例：docker load -i fine-llm_v1_0.tar

2）执行 docker images 命令以确认镜像是否已成功导入。

命令示例：docker images

3）依据已经导入的镜像，使用 docker run 命令创建并启动一个新的容器，并给服务分配可使用的 GPU 资源。

命令示例如下：

docker run -it --gpus all -e CUDA_VISIBLE_DEVICES=0 \
-e TZ=Asia/Shanghai --name llm -d -p 8020:8020 \
-v /模型所在路径/qwen_model/qwen2_5_sft_0929:/home/qwen2_5_sft_0929 \
-v /希望日志输出的路径/logs:/home/logs \
fine-llm:v1.0

4）进入到容器中

docker exec -it llm /bin/bash

5）启动服务

# 进入 /home/ 目录，用 vllm 启动服务，最后把标准输出和标准错误输出重定向到 /home/fine_llm.log 文件
cd /home/ && \
vllm serve qwen2_5_sft_0929 \
--max-model-len 12288 \
--dtype float16 \
--host 0.0.0.0 \
--port 8020 \
>> /home/logs/fine_llm.log 2>&1 &

6）查看日志，观测服务是否成功启动

# 查看日志的最后 200 行
tail -200f /home/logs/fine_llm.log

若出现以下信息则表示服务启动成功

7）依次按下 Ctrl+P 和 Ctrl+Q 退出 Docker 容器。

在为 FineAI 准备的服务器环境中执行本节操作。

4.1 安装 Docker

检查服务器是否已安装 Docker，以满足 FineAI 部署的先决条件，检查 Docker 命令：docker --version

• 若没有安装则会显示 command not found，如下图所示，此时则需要在服务器上安装 Docker，安装步骤可参考：Linux系统在线安装Docker

  
  

• 若已安装则会显示 Docker 的版本信息，如下图所示：

  
  

4.2 上传并运行 Docker 镜像文件

FineAI docker镜像文件下载：FineAI 镜像文件

1）将 Docker 镜像文件（图中为 fine_ai.tar）传输至服务器的指定目录，示例路径：/home/fineai

如果收到后镜像文件以 .gz 结尾，则需要将其解压，解压后如下图所示：

命令示例：gunzip fine-ai-base_v0_1.tar.gz

2）执行 docker load  命令以导入 Docker 镜像文件。

命令示例：docker load -i fine-ai-base_v0_1.tar 

4）执行 docker images 命令以确认镜像是否已成功导入。

命令示例：docker images

5）依据已经导入的镜像，使用 docker run 命令创建并启动一个新的容器 。

命令示例：docker run -e TZ=Asia/Shanghai --name fine_ai -p 7666:7666 -it -d fine-ai-base:v0.1-git-ssh /bin/bash

4.3 安装代码

FineAI 代码文件：FineAI 代码

1）将代码文件 encrypt_fine_ai_xxxxx.tar 传输至服务器的指定目录，示例路径：/home/fineai

2）使用 tar -xvf 命令解压代码文件。

命令示例：tar -xvf encrypt_fine_ai_xxxxx.tar

3）执行 docker cp 命令，将解压后的代码文件复制到容器路径 fine_ai:/root/ 中。

命令示例：docker cp encrypt_fine_ai_xxxxx fine_ai:/root/

4）进入到容器中，并切换到容器内的代码路径中运行代码脚本。

1. 进入容器 fine_ai：docker exec -it fine_ai /bin/bash

2. 切换当前工作目录到代码路径中：cd /root/encrypt_fine_ai_xxx/pipeline

3. 运行脚本：python app.py 

5）依次按下 Ctrl+P 和 Ctrl+Q 退出 Docker 容器。

进入「智能问答配置>其他配置>大模型配置」，配置本地服务信息，再点击保存。如下图所示：

测试需要大模型支撑的功能，比如：问答增强、分析思路、归因分析，同义词一键配置等，确保大模型服务在问答BI中可正常使用。