本地服务-连接其他大模型

• 请求 URL 规范

• 请求体规范

请求体需要包含以下参数：

请求体示例：

{
    "model": "gpt-3.5-turbo",
    "messages": [
        {
            "role": "system",
            "content": "你是算术专家"
        },
        {
            "role": "user",
            "content": "圆周率怎么计算"
        }
    ],
    "temperature": 0.95,
    "max_tokens": 8192,
    "stream": false
}
显示代码

• 返回体规范

当 FineAI 请求体中 stream 为 false 时，返回非流式返回体。

非流式返回体示例：

{
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "圆周率的计算方式有以下几种……"
      },
      "finish_reason": "stop"
    }
  ]
}

当 FineAI 请求体中 stream 为 true 时，返回流式返回体。

流式返回体示例：

• 生成过程中：每个 token 通过 content 返回，且 finish_reason 为 null

• 流式返回结束：返回了最后一个 token 后，须要有一个额外的返回体，其中 content 为 null，而 finish_reason 为 "stop"

{
    "choices": [
        {
            "finish_reason": "stop",
            "delta": {
                "content": "好的"
            },
            "index": 0
        }
    ]
}