4.2.10 更新日誌

  • 文檔創建者:Laurenwy
  • 編輯次數:4
  • 最近更新:Laurenwy 于 2025-10-17
  • 相容說明

    1)4.2.10.3 版本涉及檔案升級,請做好 FineDB 和檔案備份。

    2)4.2.10.3 版本,檔案輸入節點中,若原「sheet名」配置中引用參數,升級後變為「自訂條件>Sheet名稱」設定,並引用參數;若原「sheet名」配置中直接選擇 sheet,升級後變為「直接選取」設定,並選擇 sheet。

    3)4.2.10.4 版本,配置傳輸佇列時,前端可配置 Kafka 常用參數,之前在 FineDB 中配置的 Kafka 相關參數,升級到 4.2.10.4 及之後版本時,相容說明請參見:相容說明

    4.2.10.4

    實時採集任務快取配置優化

    訊息佇列 Kafka 常用的配置參數支援前端可配置

    傳輸佇列配置中,新增「健康檢查」配置項;支援在前端對訊息佇列 Kafka 的常用配置參數進行設定。如下圖所示:

    詳情請參見:快取配置

    訊息佇列 Kafka 支援高可用機制

    在之前版本中,傳輸佇列使用 Kafka 叢集 &Kafka 某個節點異常時如果異常的那個節點上剛好有 Topic,就會異常。

    此版本中,支援配置 replication.factor 參數,為 Topic 預設複本數,分佈在不同的節點上,當某個節點發生故障時,其他節點上的複本依然可用,進而保證了資料的可用性和故障容許度性。

    詳情請參見:快取配置

    優化訊息佇列 Kafka 的磁碟儲存佔用空間

    磁碟管理中:

    • 新增「單個 Topic 儲存上限」,用於配置每個 Topic 的儲存用量上限,優化磁碟清理功能;

    • 新增「磁碟警報配置」,為訊息佇列 Kafka 新增磁碟空間不足的提醒機制;

    • 新增「磁碟使用情況」,展示訊息佇列 Kafka 的磁碟使用資訊。

    詳情請參見:快取配置

    Kafka 資料連結配置優化

    配置 Kafka 資料連結時 ,支援在前端對訊息佇列 Kafka 的常用配置參數進行設定。如下圖所示:

    詳情請參見:配置Kafka資料源

    實時採集任務優化

    實時採集任務中,針對解析中的表,支援查看其在 Kafka 中對應 Topic 的儲存用量資訊。如下圖所示:

    詳情請參見:實時採集任務維運

    4.2.10.3

    檔案輸入節點優化

    優化前:檔案輸入節點存在侷限性,無法一次性讀取 Excel 中多個 sheet,且不支援自訂匯出欄位,需額外借助腳本等功能處理,操作複雜且耗時。

    優化後:

    • 「sheet 名」功能升級為「sheet 篩選」:支援:直接選取、自訂條件、所有sheet,支援一次選取多個 sheet,無需逐一處理;

    • 欄位匯出更靈活:支援刪除已獲取的欄位,可自訂保留所需欄位,無需額外處理冗餘欄位;

    • CSV 檔案適配優化:檔案類型為 CSV 檔案時,新增「讀取列範圍」設定,可自訂讀取的行列範圍;

    • 新增內建欄位:sheetName(sheet名),匯出欄位時新增內建欄位,幫助定位資料資訊。

    詳情請參見:檔案輸入功能說明

    檔案匯出節點優化

    優化前:匯出格式限制,資料本身為單行單欄的 XML 或 JSON 內容,無法直接原樣匯出為對應格式的檔案。且匯出欄位不支援修改欄位名或欄位類型,需額外處理。

    優化後:

    • 匯出格式更靈活:新增支援匯出資料到自訂類型檔案,單行單欄的 XML/JSON 格式資料可直接原樣匯出為對應檔案供後續的操作;

    • 檔案拆分能力增強:「檔案拆分」新增支援將資料按行數拆分至多個 sheet ,適用於大數據量的檔案匯出場景;

    • 欄位映射優化:支援直接修改匯出欄位的名稱與類型,無需額外處理,簡化操作流程;

    詳情請參見:檔案匯出算子功能說明

    呼叫任務優化

    原「呼叫任務」更名為「呼叫定時任務」。如下圖所示:

    詳情請參見:呼叫任務

    4.2.10.2

    定時任務新增任務監視功能

    任務運作監視提供對定時任務運作記錄的全面監視與主動通知能力。透過自訂監視規則和推播策略,幫助使用者即時掌握任務運作情況,保證任務穩定運作。

    詳情請參見:定時任務-運作監視

    4.2.10.1

    庫/模式、來源表、集合配置支援引用參數

    在資料工程複用和遷移程式中,使用者需要批量修改資料同步任務中的庫、模式等配置。當多任務涉及的庫、來源表配置存在重複操作邏輯時,需要大量重複的手動操作,效率低下且易出錯。

    本次更新後,庫/模式、來源表、集合配置均支援引用參數,可大幅減少庫表配置重複操作,提升資料開發效率與工程複用性。

    資料同步/資料轉換的DB表輸入、參數指派

    配置方式為「選表」時,原「來源表」配置拆分為:庫/模式、來源表兩個配置項,且「庫/模式」、「來源表」配置項新增支援引用參數。如下圖所示:

    詳情請參見:資料同步-資料來源

    資料同步/資料轉換的DB表匯出

    「庫/模式」、「目標表-已存在表」配置新增支援引用參數。如下圖所示:

    詳情請參見:資料同步-資料去向與映射

    資料同步/資料轉換裏的MongoDB輸入

    集合」配置新增支援引用參數。如下圖所示:

    PostgreSQL 支援選擇 pgoutput 的讀取方式

    PostgreSQL 作為資料開發-實時任務、實時管道任務的資料來源時,支援選擇 pgoutput 的讀取方式。

    詳情參見文檔:PostgreSQL-pgoutput讀取方式

    欄位設定優化

    當前欄位設定存在功能侷限,例如檔案輸入算子/XML 解析算子獲取欄位需調整後才能正常解析或取數、欄位名長度受限等問題,影響資料處理的效率與準確性。本次更新將對涉及到欄位設定的節點進行優化,以解決上述痛點。

    API輸入

    「API輸入」節點中,新增「匯出欄位」配置,支援:自動獲取、手動獲取。手動獲取支援自訂欄位,例如修改欄位名、修改欄位類型等操作。

    詳情請參見:API輸入

    JSON解析

    「JSON 解析」節點中,支援自訂勾選需要保留的上遊匯出欄位;支援配置匯出欄位類型。如下圖所示:

    詳情請參見:JSON解析算子功能說明

    XML解析

    「XML解析」節點中,支援自訂勾選需要保留的上遊匯出欄位;支援配置匯出欄位類型。如下圖所示:

    詳情請參見:XML解析算子

    資料聯動

    「資料聯動」節點中,支援選擇資料聯動後匯出的欄位。如下圖所示:

    詳情請參見:資料聯動


    值更換

    「值更換」節點中,支援選擇資料聯動後匯出的欄位。如下圖所示:

    詳情請參見:值更換

    欄位拆欄

    「欄位拆欄」節點中,拆分結果支援編輯新增欄名。如下圖所示:

    詳情請參見:欄位拆欄

    欄位拆列

    「欄位拆列」節點中,拆分結果支援編輯新增列名。如下圖所示:

    詳情請參見:欄位拆列算子

    MongoDB輸入

    「MongoDB輸入」節點中,支援搜尋欄位;新增 decimal 欄位類型,並且支援設定精度、標度。

    詳情請參見:MongoDB输入

    新增計算欄

    「新增計算欄」節點中,支援修改欄位類型;支援類型轉換配置。如下圖所示:

    詳情請參見:新增計算欄功能說明

    欄位設定

    「欄位設定」節點中,優化欄位命名規則、新增 decimal 欄位類型等。如下圖所示:

    詳情請參見:欄位設定

    簡道雲輸入

    「簡道雲輸入」節點中,新增「匯出欄位」配置,支援:自動獲取、手動獲取。手動獲取匯出欄位時,支援修改欄位名、取代欄位名等操作。如下圖所示:

    詳情請參見:簡道雲輸入功能說明

    檔案輸入

    「檔案輸入」節點中,匯出欄位配置中選擇「手動獲取」,新增支援搜尋欄位。如下圖所示:

    詳情請參見:檔案輸入功能說明

    註冊版本號

    註冊成功後,在「註冊管理>註冊資訊」中,顯示「註冊版本號」。如下圖所示:

    附件列表


    主題: 更新動態
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!