1. 概述
FineChatBI 整体服务架构可参考下图：
| 服务 | 描述 | 参考文档 |
|---|---|---|
| FineChatBI | 以 FineBI 为底座，叠加 AI 组件构建而成 | 运维平台为FineBI部署AI服务 |
| 通用大模型 | 通用大模型支撑以下功能：
| 本文第 3 节 |
| 推理大模型（可选） | 推理大模型支撑以下功能：
若资源有限，可使用通用模型，但效果会打折 | 本文第 4 节 |
2. FineChatBI 服务器配置概述
2.1 FineBI 服务器配置
FineChatBI 以 FineBI 为底座，需要部署 FineBI V6.1 及以上版本。
参考 确认FineBI项目服务器配置 完成服务器选型。
计算规则：将 FineChatBI 的用户加入 FineBI 的日活用户数计算服务器所需资源，并额外预留 10% 的服务器资源用于 FineChatBI 的使用。
2.2 AI 组件服务器配置
由于AI组件所需资源较多，建议为AI组件单独准备一台服务器。
服务器要求如下：
推荐配置：CPU16核、可用内存32G、可用磁盘100G，AI组件独占服务器
最低配置：CPU12核、可用内存24G、可用磁盘50G，AI组件与项目共享服务器
详情请参见：准备AI组件服务器。
3. 通用大模型配置
3.1 本地大模型
| 推荐模型 | 显卡要求（仅供参考，建议咨询大模型厂商为准） |
|---|---|
| 通义千问2.5-72B-Instruct（下载链接） | 4*H100 |
| 通义千问2.5-72B-Instruct-GPTQ-Int4量化（下载链接） | 1*H100（效果比非量化有所下降） |
| DeepSeek-V3 满血版 | 16*H100 起 |
3.2 云上大模型
| 推荐模型 | 费用评估 |
|---|---|
| 通义千问-Max（32K） | token 费用 = (N x X + M x Y) x U x V
|
| DeepSeek-V3/DeepSeek-V3-0324 | token 费用 = (N x X + M x Y) x U x V |
| GPT-4o | token 费用 = (N x X + M x Y) x U x V N：用户每次查询平均消耗 input token 数，经验值 20000 M：用户每次查询平均消耗 output token 数，经验值 1000 X：大模型云服务 input token 收费标准，以实际为准 Y：大模型云服务 output token 收费标准，以实际为准 U：月活用户数 V：单用户平均月深度推理查询次数，经验值 20 |
4. 推理大模型
4.1 本地大模型
| 推荐模型 | 显卡要求 |
|---|---|
| DeepSeek-R1 满血版 | 建议咨询大模型厂商 |
| DeepSeek-R1-0528 | |
| 通义千问 3-235B-A22B-Thinking-2507（下载链接） |
4.2 云上大模型
| 推荐模型 | 费用评估 |
|---|---|
| DeepSeek-R1/DeepSeek-R1-0528 | token 费用 = (N x X + M x Y) x U x V |
| 通义千问3-235B-A22B-Thinking-2507（128K） | token 费用 = (N x X + M x Y) x U x V |
上一篇：最佳实践
