点击返回主目录：【目录】FineChatBI1. 概述
本文将介绍 FineChatBI 如何连接帆软大模型（图中蓝色连线部分），总共需要有三个步骤：
1）部署帆软大模型。
2）在 FineChatBI 中配置大模型信息，完成连接。
2. 帆软大模型环境准备
非常重要1. FineLLM 必须部署在拥有 GPU 硬件的服务器，且 GPU 配置符合要求。
2. 服务器必须安装符合要求的英伟达驱动（联系显卡供应商或服务器供应商安装）
3. 确认服务器安装了 nvidia container toolkit（联系显卡供应商或服务器供应商安装）
4. 模型体积较大，需保证服务器拥有至少 100GB 可用空间
客户需准备一台配备安培架构 GPU 的服务器部署大模型，推荐使用的 GPU 型号包括 4090，A10，A100，L20，L40，L40S，A800，A40，A6000，H100，H800 等。
| 配置项 | 配置 |
|---|---|
| Linux 内核版本 | 3.10 以上 |
| 位数 | 64 |
| GPU显存 | 架构：安培以上 最低 24G；推荐 80 G |
| CPU | 最低 8 核；推荐 16 核 |
| 内存 | 最低 64G；推荐 128 G |
| 硬盘 | 200GB（帆软大模型体积大，服务器至少有 100GB 可用空间） |
| docker | 20.0.0 |
| 英伟达驱动 | cuda12.2以上的版本 注：不同的 GPU 型号需要不同的驱动，建议安装驱动的操作交给专业人士（联系显卡供应商或服务器供应商安装） |
| 安装英伟达容器包 | Nvidia container toolkit（联系显卡供应商或服务器供应商安装） |
3. 部署帆软大模型（fineLLM）
在为大模型准备的服务器环境中执行本节操作。
3.0 检查驱动
检查英伟达驱动：执行 nvidia-smi，显示显卡详情则表示驱动已安装。
检查 Nvidia container toolkit：执行 nvidia-container-runtime --version，显示版本号则表示 Nvidia container toolkit 已安装。
3.1 安装 Docker
安装步骤中需要使用到 Docker，请先检查服务器中是否已完成安装 Docker，检查 Docker 命令：docker --version
若没有安装则会显示 command not found，如下图所示，此时则需要在服务器上安装 Docker，安装步骤可参考：Linux系统在线安装Docker
若已安装则会显示 Docker 的版本信息，如下图所示：
3.2 上传资源到服务器
将安装资源下载到服务器指定文件夹中：
| 资源名 | 下载链接 |
|---|---|
| 镜像文件 | 文件较大，建议使用命令直接下载到服务器 https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/fine-llm/fine-llm_v1_0.tar |
| 模型文件 | 文件较大，建议使用命令直接下载到服务器 https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/models/qwen_sft_0929.tar.gz |
1）将 Docker 镜像文件下载到服务器的指定目录（示例路径：/home/images），命令示例：
先进入示例路径：cd /home/images
下载镜像文件到该路径下：curl -O https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/fine-llm/fine-llm_v1_0.tar
解压镜像文件：gunzip fine-llm_v1_0.tar.gz
2）新建 qwen_model 文件夹并下载模型文件到服务器，并记住 /模型所在路径/qwen_model（示例路径：/home/qwen_model），命令示例：
进入示例路径：cd /home/qwen_model
下载模型文件到该路径下：curl -O https://fanruan-ai.oss-cn-hangzhou.aliyuncs.com/models/qwen_sft_0929.tar.gz
解压模型文件：tar -zxvf qwen_sft_0929.tar.gz ，解压后如下图所示：
3.3 安装 llm 容器
1）执行 docker load 命令导入镜像文件。若遇到报错“no space left on device”请查看文档末尾的常见问题。
命令示例：docker load -i fine-llm_v1_0.tar
2）执行 docker images 命令以确认镜像是否已成功导入。
命令示例：docker images
3）依据已经导入的镜像，使用 docker run 命令创建并启动一个新的容器，并给服务分配可使用的 GPU 资源。
命令示例如下：
docker run -it --gpus all -e CUDA_VISIBLE_DEVICES=0 \-e TZ=Asia/Shanghai --name llm -d -p 8020:8020 \-v /home/qwen_model/qwen2_5_sft_0929:/home/qwen2_5_sft_0929 \-v /希望日志输出的路径/logs:/home/logs \fine-llm:v1.0
| 根据实际修改命令 | 描述 |
|---|---|
| -e CUDA_VISIBLE_DEVICES=0 | 服务运行过程中，实际可使用哪几个编号的 GPU 执行计算任务，如： CUDA_VISIBLE_DEVICES=0 表示服务仅可使用编号为 0 的 GPU， GPU 编号可执行 nvidia-smi 查看 |
| -v /home/qwen_model/qwen2_5_sft_0929:/home/qwen2_5_sft_0929 | 将服务器上的 /home/qwen_model/qwen2_5_sft_0929 目录挂载到容器内部的 /home/qwen2_5_sft_0929 目录，方便容器内的应用直接访问模型文件 |
| -v /希望日志输出的路径/logs:/home/logs | 挂载日志文件，日志路径可由用户自定义，建议放在 qwen_model 的同级目录，且保证 /希望日志输出的路径/logs 路径存在 |
4）进入到容器中
docker exec -it llm /bin/bash
5）启动服务
# 进入 /home/ 目录，用 vllm 启动服务，最后把标准输出和标准错误输出重定向到 /home/fine_llm.log 文件cd /home/ && \vllm serve qwen2_5_sft_0929 \--max-model-len 12288 \--dtype float16 \--host 0.0.0.0 \--port 8020 \>> /home/logs/fine_llm.log 2>&1 &
6）查看日志，观测服务是否成功启动
# 查看日志的最后 200 行tail -200f /home/logs/fine_llm.log
若出现以下信息则表示服务启动成功
7）依次按下 Ctrl+P 和 Ctrl+Q 退出 Docker 容器。
4. FineChatBI 配置大模型
进入「智能问答配置>其他配置>大模型配置」，配置本地服务信息，再点击保存。如下图所示：
| 填写项 | 描述 |
|---|---|
| ApiKey | 无需填写 |
| endPoint | 大模型的具体的服务地址，可以通过该地址与模型进行交互 http://宿主机IP:8020/v1 |
| 部署模型名称 | qwen2_5_sft_0929 |
5. 测试是否配置成功
测试需要大模型支撑的功能，比如：问答增强、分析思路、归因分析，同义词一键配置等，确保大模型服务在问答BI中可正常使用。
