通用大模型

1.1 版本

1.2 應用場景

通用大模型用於支撐 FineChatBI 的以下功能：問數（智慧模式下語意理解與轉寫）、問思路、一鍵配置同義詞。

提示:

為保障 ChatBI 功能效果，建議使用不低於 80B 規格的大模型；低於該規格的模型，不承諾效果達標。

通用大模型可選用本地大模型或雲上大模型。

2.1 推薦模型

2.2 大模型能力檢查

FineChatBI 要求大模型必須嚴格按照指定格式匯出結果，否則無法正常使用。

使用者在連結本地大模型前，需要提前驗證模型是否滿足 FineChatBI 的要求，詳情請參見：判斷大模型是否滿足 FineChatBI 能力要求。

2.3 大模型API相容性檢查

本地大模型需檢查API相容，雲上大模型可跨越此步驟。

使用者需要確認自己的本地大模型是否相容 OpenAI API：

情況一：相容 OpenAI API

大模型相容 OpenAI API，則無需任何改造，大模型可以直接連結 FineAI 服務。

情況二：不相容 OpenAI API

大模型若不相容 OpenAI API，推薦使用 vLLM 框架將本地大模型重新部署為相容 OpenAI API的服務，詳情請參考 vLLM 官方文檔。

情況三：不相容 OpenAI API且無法重新部署大模型

API改造。常駐一個API轉發服務，作為 FineAI 服務和大模型服務之間溝通的橋樑。

API轉發服務需要將 FineAI 的請求體轉換成大模型服務支援的格式，發給大模型；並解析大模型的傳回，轉換成 FineAI 的傳回體格式。

FineAI 的請求體和傳回體都符合 OpenAI Chat API規範，詳情見：

• 請求 URL 規範

大模型的請求 URL 需要以 /chat/completions 結尾。

• 請求體規範

請求體需要包含以下參數：

請求體範例：

{
    "model": "gpt-3.5-turbo",
    "messages": [
        {
            "role": "system",
            "content": "你是算術專家"
        },
        {
            "role": "user",
            "content": "圓週率怎麼計算"
        }
    ],
    "temperature": 0.95,
    "max_tokens": 8192,
    "stream": false
}

• 傳回體規範

>當 FineAI 請求體中 stream 為 false 時，傳回非流式傳回體。

非流式傳回體範例：

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "圓週率的計算方式有以下幾種……"
      },
      "finish_reason": "stop"
    }
  ]
}

>當 FineAI 請求體中 stream 為 true 時，傳迴流式傳回體。

提示:

流式傳回體必須遵循 SSE 標準。
除JSON結構符合下述要求之外，每個傳回體必須以「data:」開頭，以兩個回車符結尾，傳回體 header 設定「Content-Type: text/event-stream」。詳情見 SSE 標準。

流式傳回體JSON部分範例：

• 生成過程中：每個 token 透過 content 傳回，且 finish_reason 為 null

• 流式傳回結束：傳回了最後一個 token 後，須要有一個額外的傳回體，其中 content 為 null，而 finish_reason 為 "stop"

{
    "choices": [
        {
            "finish_reason": null,
            "delta": {
                "content": "好的"
            }
        }
    ]
}

為確定 FineBI/FineAI 能存取到大模型，需要將大模型地址新增至 FineBI/FineAI 伺服器的白名單中。

4.1 連結本地大模型

進入「智慧問答配置>其他配置>大模型配置」，配置本地服務資訊，再點選儲存。如下圖所示：

4.2 連結雲上大模型

1）開放 FineAI 和 FineBI 伺服器對外存取權限，將大模型服務的地址 新增到FineBI 和 FineAI 伺服器的白名單中。

2）進入「智慧問答配置>其他配置>大模型」，輸入大模型服務的相關資訊。

以 DeepSeek 為例，當使用者希望連結 DeepSeek 的官方 API 時，需填寫以下內容：

1）選擇服務商名稱為 deepseek；

2）輸入自己的 ApiKey

3）endPoint 填寫 https://api.deepseek.com

4）部署模型名稱填寫 deepseek-chat（推薦）或 deepseek-reasoner