最新历史版本 :连接本地大模型 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

本文将介绍 FineChatBI 如何连接其他大模型（图中蓝色连线部分），连接其他本地大模型需要进行接口改造，连接步骤大致如下：

1）部署 FineAI 服务，目的是转发代理大模型。

2）在 FineChatBI 中配置大模型信息，完成连接。 

2. 检查大模型是否满足 FineChatBI 要求 编辑

FineChatBI 要求大模型必须严格按照指定格式输出结果，否则无法正常使用。

用户在连接本地大模型前，需要提前验证本地模型是否满足 FineChatBI 的要求，详情请参见：判断大模型是否满足 FineChatBI 能力要求。

3. 检查大模型接口是否兼容 OpenAI编辑

FineAI 是 OpenAI Chat 接口，用户需要确认自己的本地大模型是否兼容 OpenAI 接口：

情况一：兼容 OpenAI 接口

大模型兼容 OpenAI 接口，则无需任何改造，大模型可以直接连接 FineAI 服务。

情况二：不兼容 OpenAI 接口

大模型若不兼容 OpenAI 接口，推荐使用 vLLM 框架将本地大模型重新部署为兼容 OpenAI 接口的服务，详情请参考 vLLM 官方文档。

情况三：不兼容 OpenAI 接口且无法重新部署大模型

接口改造。常驻一个接口转发服务，作为 FineAI 服务和大模型服务之间沟通的桥梁。

接口转发服务需要将 FineAI 的请求体转换成大模型服务支持的格式，发给大模型；并解析大模型的返回，转换成 FineAI 的返回体格式。

FineAI 的请求体和返回体都符合 OpenAI Chat 接口规范，详情见：

点击展开更多

  • 请求 URL 规范

大模型的请求 URL 需要以 /chat/completions 结尾。

  • 请求体规范

请求体需要包含以下参数：

参数说明
model即问答 BI 配置界面的部署名
messages

对话历史记录，包括角色和历史。类型为 List[dict(str,str)]

temperature调节模型输出结果的随机性，值越大随机性越强
max_tokens控制生成输出 token 的数量
stream

是否流式输出，bool 类型。

必须将 FineAI 发送的 stream 传递给大模型；

必须根据 stream 的值判断返回体格式是否为流式格式。

请求体示例：

{
    "model": "gpt-3.5-turbo",
    "messages": [
        {
            "role": "system",
            "content": "你是算术专家"
        },
        {
            "role": "user",
            "content": "圆周率怎么计算"
        }
    ],
    "temperature": 0.95,
    "max_tokens": 8192,
    "stream": false
}

  • 返回体规范

当 FineAI 请求体中 stream 为 false 时，返回非流式返回体。

非流式返回体示例：

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "圆周率的计算方式有以下几种……"
      },
      "finish_reason": "stop"
    }
  ]
}

当 FineAI 请求体中 stream 为 true 时，返回流式返回体。

icon提示:

流式返回体必须遵循 SSE 标准。
除JSON结构符合下述要求之外，每个返回体必须以「data:」开头，以两个回车符结尾，返回体 header 设置「Content-Type: text/event-stream」。详情见 SSE 标准。

流式返回体JSON部分示例：

  • 生成过程中：每个 token 通过 content 返回，且 finish_reason 为 null

  • 流式返回结束：返回了最后一个 token 后，须要有一个额外的返回体，其中 content 为 null，而 finish_reason 为 "stop"

{
    "choices": [
        {
            "finish_reason": null,
            "delta": {
                "content": "好的"
            }
        }
    ]
}

4. FineChatBI 配置大模型编辑

进入「智能问答配置>其他配置>大模型配置」，配置本地服务信息，再点击保存。如下图所示：

填写项描述
ApiKey用于身份验证的唯一字符串，通常由服务提供商生成

（若接口不需要鉴权，可不填写）

endPoint

大模型的具体的服务地址，可以通过该地址与模型进行交

填入基础URL，即不包含 /chat/completions 后缀

部署模型名称

填入要接入模型的模型名（model name）

5. 测试是否配置成功编辑

测试需要大模型支撑的功能，比如：问答增强、分析思路、归因分析，同义词一键配置等，确保大模型服务在问答BI中可正常使用。