历史版本9 :FineAI接口介绍 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
FineAI 服务与本地大模型接口进行交互时,需要对 FineAI 发送的参数进行映射,以匹配用户本地大模型接口所需的参数,确保从 FineAI 发送的请求能够被正确处理。
2. 接口介绍编辑
2.1 接口概览
请求方式:POST
基础URL:$BASE_URL(大模型服务URL)
路径:/chat/completions
完整URL:POST $BASE_URL/chat/completions
鉴权方式:Authorization: Bearer $API_KEY(部署大模型服务的鉴权码)
2.2 请求参数
FineAI参数 | 说明 |
---|---|
model | 模型名称 |
prompt | 用户 prompt |
system_promt | 系统 prompt |
messages | 对话历史记录,包括角色和历史。类型为 List[dict(str,str)] |
temperature | 调节模型输出结果的随机性,值越大随机性越强,0为固定输出 |
top_p | 从生成结果中按输出的概率选择输出结果 |
top_k | 从生成结果中选择候选输出的数量 |
max_tokens | 生成输出 token 的最大长度,单位为个 |
stream | 是否流式输出,bool 类型 |
user_id | 用户的唯一标识 |
映射逻辑:
对于 FineAI 提供且大模型需要的参数,直接传递这些参数
对于 FineAI 提供但大模型不需要的参数,选择忽略
对于大模型需要,但 FineAI 未提供的参数,可设置合适的默认值或依据业务逻辑补充这些参数
2.3 返回结果
返回示例:
{
"code": 10200,
"msg": "OK",
"data": {
"content": "返回的内容" // 大模型返回的message content
}
}
返回代码描述
HTTP状态码 | 自定义编码 | 消息 | 描述 |
---|---|---|---|
200 | 10200 | OK | 请求成功并返回所请求的数据 |
400 | 10400 | Bad Request | 请求参数有误或格式不正确 |
401 | 10401 | 未授权访问,需要身份验证 | |
429 | 10429 | Rate limit reached for requests | 发送请求的速度太快 |
500 | 10500 | Internal Server Error | 服务器内部错误 |
502 | 10502 | Bad Gateway | 网关或代理服务器收到无效响应 |
503 | 10503 | Service Unavailable | 服务器暂时不可用,通常是因为过载或维护 |
504 | 10504 | Gateway Timeout | 网关或代理服务器未及时收到上游服务器响应 |