本地服務-連結其他大模型

• 請求 URL 規範

• 請求體規範

請求體需要包含以下參數：

請求體範例：

{
    "model": "gpt-3.5-turbo",
    "messages": [
        {
            "role": "system",
            "content": "你是算術專家"
        },
        {
            "role": "user",
            "content": "圓週率怎麼計算"
        }
    ],
    "temperature": 0.95,
    "max_tokens": 8192,
    "stream": false
}

• 傳回體規範

當 FineAI 請求體中 stream 為 false 時，傳回非流式傳回體。

非流式傳回體範例：

{
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "圓週率的計算方式有以下幾種……"
      },
      "finish_reason": "stop"
    }
  ]
}

當 FineAI 請求體中 stream 為 true 時，傳回流式傳回體。

流式傳回體範例：

• 生成程式中：每個 token 透過 content 傳回，且 finish_reason 為 null

• 流式傳回結束：傳回了最後一個 token 後，須要有一個額外的傳回體，其中 content 為 null，而 finish_reason 為 "stop"

{
    "choices": [
        {
            "finish_reason": null,
            "delta": {
                "content": "好的"
            },
            "index": 0
        }
    ]
}