相容說明
1)4.2.10.3 版本涉及檔案升級,請做好 FineDB 和檔案備份。
2)4.2.10.3 版本,檔案輸入節點中,若原「sheet名」配置中引用參數,升級後變為「自訂條件>Sheet名稱」設定,並引用參數;若原「sheet名」配置中直接選擇 sheet,升級後變為「直接選取」設定,並選擇 sheet。
3)4.2.10.4 版本,配置傳輸佇列時,前端可配置 Kafka 常用參數,之前在 FineDB 中配置的 Kafka 相關參數,升級到 4.2.10.4 及之後版本時,相容說明請參見:相容說明
4.2.10.4
實時採集任務快取配置優化
訊息佇列 Kafka 常用的配置參數支援前端可配置
傳輸佇列配置中,新增「健康檢查」配置項;支援在前端對訊息佇列 Kafka 的常用配置參數進行設定。如下圖所示:
詳情請參見:快取配置

訊息佇列 Kafka 支援高可用機制
在之前版本中,傳輸佇列使用 Kafka 叢集 &Kafka 某個節點異常時,如果異常的那個節點上剛好有 Topic,就會異常。
此版本中,支援配置 replication.factor 參數,為 Topic 預設複本數,分佈在不同的節點上,當某個節點發生故障時,其他節點上的複本依然可用,進而保證了資料的可用性和故障容許度性。
詳情請參見:快取配置

優化訊息佇列 Kafka 的磁碟儲存佔用空間
磁碟管理中:
新增「單個 Topic 儲存上限」,用於配置每個 Topic 的儲存用量上限,優化磁碟清理功能;
新增「磁碟警報配置」,為訊息佇列 Kafka 新增磁碟空間不足的提醒機制;
新增「磁碟使用情況」,展示訊息佇列 Kafka 的磁碟使用資訊。
詳情請參見:快取配置

Kafka 資料連結配置優化
配置 Kafka 資料連結時 ,支援在前端對訊息佇列 Kafka 的常用配置參數進行設定。如下圖所示:
詳情請參見:配置Kafka資料源

實時採集任務優化
實時採集任務中,針對解析中的表,支援查看其在 Kafka 中對應 Topic 的儲存用量資訊。如下圖所示:
詳情請參見:實時採集任務維運

4.2.10.3
檔案輸入節點優化
優化前:檔案輸入節點存在侷限性,無法一次性讀取 Excel 中多個 sheet,且不支援自訂匯出欄位,需額外借助腳本等功能處理,操作複雜且耗時。
優化後:
「sheet 名」功能升級為「sheet 篩選」:支援:直接選取、自訂條件、所有sheet,支援一次選取多個 sheet,無需逐一處理;
欄位匯出更靈活:支援刪除已獲取的欄位,可自訂保留所需欄位,無需額外處理冗餘欄位;
CSV 檔案適配優化:檔案類型為 CSV 檔案時,新增「讀取列範圍」設定,可自訂讀取的行列範圍;
新增內建欄位:sheetName(sheet名),匯出欄位時新增內建欄位,幫助定位資料資訊。
詳情請參見:檔案輸入功能說明

檔案匯出節點優化
優化前:匯出格式限制,資料本身為單行單欄的 XML 或 JSON 內容,無法直接原樣匯出為對應格式的檔案。且匯出欄位不支援修改欄位名或欄位類型,需額外處理。
優化後:
匯出格式更靈活:新增支援匯出資料到自訂類型檔案,單行單欄的 XML/JSON 格式資料可直接原樣匯出為對應檔案供後續的操作;
檔案拆分能力增強:「檔案拆分」新增支援將資料按行數拆分至多個 sheet ,適用於大數據量的檔案匯出場景;
欄位映射優化:支援直接修改匯出欄位的名稱與類型,無需額外處理,簡化操作流程;
詳情請參見:檔案匯出算子功能說明

呼叫任務優化
原「呼叫任務」更名為「呼叫定時任務」。如下圖所示:
詳情請參見:呼叫任務

4.2.10.2
4.2.10.1
庫/模式、來源表、集合配置支援引用參數
在資料工程複用和遷移程式中,使用者需要批量修改資料同步任務中的庫、模式等配置。當多任務涉及的庫、來源表配置存在重複操作邏輯時,需要大量重複的手動操作,效率低下且易出錯。
本次更新後,庫/模式、來源表、集合配置均支援引用參數,可大幅減少庫表配置重複操作,提升資料開發效率與工程複用性。
資料同步/資料轉換的DB表輸入、參數指派
配置方式為「選表」時,原「來源表」配置拆分為:庫/模式、來源表兩個配置項,且「庫/模式」、「來源表」配置項新增支援引用參數。如下圖所示:
詳情請參見:資料同步-資料來源

資料同步/資料轉換的DB表匯出
「庫/模式」、「目標表-已存在表」配置新增支援引用參數。如下圖所示:
詳情請參見:資料同步-資料去向與映射

資料同步/資料轉換裏的MongoDB輸入
「集合」配置新增支援引用參數。如下圖所示:

PostgreSQL 支援選擇 pgoutput 的讀取方式
PostgreSQL 作為資料開發-實時任務、實時管道任務的資料來源時,支援選擇 pgoutput 的讀取方式。
詳情參見文檔:PostgreSQL-pgoutput讀取方式

欄位設定優化
當前欄位設定存在功能侷限,例如檔案輸入算子/XML 解析算子獲取欄位需調整後才能正常解析或取數、欄位名長度受限等問題,影響資料處理的效率與準確性。本次更新將對涉及到欄位設定的節點進行優化,以解決上述痛點。
API輸入
「API輸入」節點中,新增「匯出欄位」配置,支援:自動獲取、手動獲取。手動獲取支援自訂欄位,例如修改欄位名、修改欄位類型等操作。
詳情請參見:API輸入

JSON解析
「JSON 解析」節點中,支援自訂勾選需要保留的上遊匯出欄位;支援配置匯出欄位類型。如下圖所示:
詳情請參見:JSON解析算子功能說明

XML解析
「XML解析」節點中,支援自訂勾選需要保留的上遊匯出欄位;支援配置匯出欄位類型。如下圖所示:
詳情請參見:XML解析算子

資料聯動
「資料聯動」節點中,支援選擇資料聯動後匯出的欄位。如下圖所示:
詳情請參見:資料聯動

值更換
「值更換」節點中,支援選擇資料聯動後匯出的欄位。如下圖所示:
詳情請參見:值更換

欄位拆欄
「欄位拆欄」節點中,拆分結果支援編輯新增欄名。如下圖所示:
詳情請參見:欄位拆欄

欄位拆列
「欄位拆列」節點中,拆分結果支援編輯新增列名。如下圖所示:
詳情請參見:欄位拆列算子

MongoDB輸入
「MongoDB輸入」節點中,支援搜尋欄位;新增 decimal 欄位類型,並且支援設定精度、標度。
詳情請參見:MongoDB输入

新增計算欄
「新增計算欄」節點中,支援修改欄位類型;支援類型轉換配置。如下圖所示:
詳情請參見:新增計算欄功能說明

欄位設定
「欄位設定」節點中,優化欄位命名規則、新增 decimal 欄位類型等。如下圖所示:
詳情請參見:欄位設定

簡道雲輸入
「簡道雲輸入」節點中,新增「匯出欄位」配置,支援:自動獲取、手動獲取。手動獲取匯出欄位時,支援修改欄位名、取代欄位名等操作。如下圖所示:
詳情請參見:簡道雲輸入功能說明

檔案輸入
「檔案輸入」節點中,匯出欄位配置中選擇「手動獲取」,新增支援搜尋欄位。如下圖所示:
詳情請參見:檔案輸入功能說明

註冊版本號
註冊成功後,在「註冊管理>註冊資訊」中,顯示「註冊版本號」。如下圖所示:

