1. 概述
FineAI 主要负责承接和转发大模型服务的请求,本文将介绍如何部署 FineAI 服务。
2. 部署要求
FineAI 的服务器配置要求相对较低,为了优化资源使用,建议用户可以将 FineAI 服务以及规则模型部署在同一台服务器上。
FineAI 部署环境要求如下表所示:
配置项 | 最低配置 |
---|---|
Linux 内核版本 | 3.10以上 |
位数 | 64位 |
核数 | 4核 |
内存 | 8G |
硬盘 | 80G |
显卡 | 可选 |
Docker | 20.0.0 |
3. 获取安装包
联系帆软商务,获取 FineAI 的镜像包和代码包。
4. 操作步骤
4.1 安装 Docker
检查服务器是否已安装 Docker,以满足 FineAI 部署的先决条件,检查 Docker 命令:docker --version
若没有安装则会显示 command not found,如下图所示,此时则需要在服务器上安装 Docker,安装步骤可参考:Linux系统安装Docker
若已安装则会显示 Docker 的版本信息,如下图所示:
4.2 上传并运行 Docker 镜像文件
1)将 Docker 镜像文件(图中为 fine_ai.tar)传输至服务器的指定目录,示例路径:/home/fineai
如果收到后镜像文件以 .gz 结尾,则需要将其解压,解压后如下图所示:
命令示例:gunzip fine-ai-base_v0_1.tar.gz
2)执行 docker load 命令以导入 Docker 镜像文件。
命令示例:docker load -i fine-ai-base_v0_1.tar
4)执行 docker images 命令以确认镜像是否已成功导入。
命令示例:docker images
5)依据已经导入的镜像,使用 docker run 命令创建并启动一个新的容器 。
命令示例:docker run -e TZ=Asia/Shanghai --name fine_ai -p 7666:7666 -it -d fine-ai-base:v0.1-git-ssh /bin/bash
4.3 安装代码
1)将获取的代码文件 encrypt_fine_ai_xxxxx.tar 传输至服务器的指定目录,示例路径:/home/fineai
2)使用 tar -xvf 命令解压代码文件。
命令示例:tar -xvf encrypt_fine_ai_xxxxx.tar
3)执行 docker cp 命令,将解压后的代码文件复制到容器路径 fine_ai:/root/ 中。
命令示例:docker cp encrypt_fine_ai_xxxxx fine_ai:/root/
4)进入到容器中,并切换到容器内的代码路径中运行代码脚本。
进入容器 fine_ai:docker exec -it fine_ai /bin/bash
切换当前工作目录到代码路径中:cd /root/encrypt_fine_ai_xxx/pipeline
运行脚本:python app.py
5)依次按下 Ctrl+P 和 Ctrl+Q 退出 Docker 容器。