历史版本9 :FineAI接口介绍 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

FineAI 服务与本地大模型接口进行交互时,需要对 FineAI 发送的参数进行映射,以匹配用户本地大模型接口所需的参数,确保从 FineAI 发送的请求能够被正确处理。

2. 接口介绍编辑

2.1 接口概览

  • 请求方式:POST

  • 基础URL:$BASE_URL(大模型服务URL

  • 路径:/chat/completions

  • 完整URL:POST $BASE_URL/chat/completions

  • 鉴权方式:Authorization: Bearer $API_KEY(部署大模型服务的鉴权码

2.2 请求参数

FineAI参数说明
model模型名称
prompt用户 prompt
system_promt系统 prompt

messages

对话历史记录,包括角色和历史。类型为 List[dict(str,str)]

temperature调节模型输出结果的随机性,值越大随机性越强,0为固定输出
top_p从生成结果中按输出的概率选择输出结果

top_k

从生成结果中选择候选输出的数量
max_tokens生成输出 token 的最大长度,单位为个
stream是否流式输出,bool 类型
user_id用户的唯一标识

映射逻辑:

  • 对于 FineAI 提供且大模型需要的参数,直接传递这些参数

  • 对于 FineAI 提供但大模型不需要的参数,选择忽略

  • 对于大模型需要,但 FineAI 未提供的参数,可设置合适的默认值或依据业务逻辑补充这些参数

2.3 返回结果

返回示例:

{
  "code": 10200,
  "msg": "OK",
  "data": {
    "content": "返回的内容" // 大模型返回的message content
  }
}

返回代码描述

HTTP状态码自定义编码消息描述
20010200OK请求成功并返回所请求的数据
40010400Bad Request
请求参数有误或格式不正确
40110401
未授权访问,需要身份验证
42910429Rate limit reached for requests发送请求的速度太快
50010500Internal Server Error服务器内部错误
50210502Bad Gateway网关或代理服务器收到无效响应
50310503Service Unavailable服务器暂时不可用,通常是因为过载或维护
50410504Gateway Timeout网关或代理服务器未及时收到上游服务器响应