摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.11.4-4.1.13.2增加MQTT輸入、IBM MQ輸入資料源心跳檢查4.1.13.4增加轉換類算子的運作日誌4.2.4.3優化日[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.1支援設定業務日誌的級別支援備份、還原、清理業務日誌4.1.7.3定時任務運作記錄可直接使用 3.4 節功能進行手動/自動清理4.2.[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.6.1使用者可在 FDL 內進行SQL的編寫/除錯、查看建立表效果、刪除表、清空表、複列表等操作4.1.8.2庫表管理功能支援神通資料[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.2.5.1資料開發-定時任務中支援讀取 PI 資料庫1.2 功能簡介資料開發-定時任務中支援讀取 PI 資[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.27支援批量設定任務調度計劃4.0.30「調度計劃」中新增「事件調度」,可為多個定時任務配置統一事件調度「調度計劃」中排程管理 Tab[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.30支援設定定時任務的執行優先4.1.1可為定時任務單獨設定日誌匯出級別4.1.4提供確認、取消按鈕:進行設定後,可儲存、取消操作1.[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.264.0.26 版本之前,「結果通知」需要「開啟調度」才能設定;4.0.26 版本及之後,「結果通知」可以單獨開啟4.0.28「結果[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.26新增「逾時限制」和「失敗重試」功能4.0.29可設定髒資料臨界值,使任務具備一定故障容許度性當出現髒資料時,即時通知使用者;在任務[阅读全文:]
摘要:本文僅用於指導非維運平台部署的FineDataLink4.1.x工程升級。維運平台部署的FineDataLink工程,請透過維運平台進行升級,詳情請參見:外網升級維運專案、內網升級維運專案1. 概述為滿[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.26-4.0.28資料服務設定項修改為資料服務API1.2 應用場景超級管理者可以給予某個物件「API 任務」的授權權限,使該物件將成[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.26-4.0.28資料服務設定項修改為資料服務API1.2 應用場景管理者希望能為普通使用者分配「資料服務」中指定的 API[阅读全文:]
摘要:1. 概述1.1 應用場景當設定任務控制概述時,如果定時更新頻率比較複雜,無法透過「簡單重複執行」或「明細頻率設定」直接設定時,我們可以透過 Cron 運算式實現。本文將以範例介紹如何設定 Cron 運[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能變動4.0.20.1支援的API發佈的資料庫版本:MySQL、Oracle、PostgreSQL、SQLServer、Greenplum(包含並行裝[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能變動4.0.20.1-4.0.28資料服務支援應用管理功能,支援以應用的方式分組管理API呼叫方:支援對「應用」的基礎管理功能(建立、編輯、刪除、管[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.27「調度配置」名稱修改為「任務控制」4.1.4「任務控制」中的調度配置Tab,單獨獨立出來,為「調度計劃」4.1.7.3「开发模式」[阅读全文:]
摘要:1. 作業系統要求注:FineDataLink 支援了一些國產化的作業系統、中間軟體、晶片等,國產化環境準備請參見:FineDataLink支持的国产化环境類別型號Linux作業系統CentOS6&nb[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變更4.0.1.1「管理系統>智慧維運>資源遷移」的資源匯出 Tab 下,新增 ETL 任務的匯出;資源匯入 Tab 下,可匯入 ET[阅读全文:]
摘要:1. 概述1.1 應用場景使用者想了解某個管道任務是誰編輯的、編輯時間、斷點相關資訊等,FDL 工程內的 管道任务运维 無法滿足需求。1.2 實現思路使用者可根據實際需求,使用 Fi[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.3資料寫入Hive、星環 TRANSWARP INCEPTOR資料庫時,支援建立、寫入分割槽表4.2.0.2支援讀取&nbs[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.4-1.2 應用場景在FineDataLink中,管理者希望將「負載管理」功能的使用權限分配給其他使用者,讓普通使用者也可以進行負載管[阅读全文:]
摘要:1. 概述本文講述如何使用資料管道功能。2. 準備工作準備工作說明步驟一(必做):準備 FDL 獨立部署工程管道任務僅支援在 獨立部署 環境下使用參考 FineD[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.9.3支援使用者自訂欄位類型映射規則,並配置生效的資料連結。「自動建表欄位類型映射」、「管道DDL」、「定時任務來源欄位變化感知」時,[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動1.9-4.1.9.3支援使用回收站對刪除的任務進行還原,詳情參見:回收站支援「Kettle呼叫」節點4.2.0.3定時任務中資料預覽介面中:[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.28-1.2 應用場景超級管理者可以給予某個物件資料服務「應用」的授權權限,使該物件將成為一個次級管理者。次級管理者可以給下級成員分配[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.28-1.2 應用場景管理者希望能為普通使用者分配「資料服務」中指定的應用列表的查看和編輯權限。本文將介紹管理者如何給使用者分配資料服[阅读全文:]
摘要:1. 概述在設定好管道任務後,FineDataLink 支援對資料實時同步進行監視,查看任務運作情況,快速查看和處理髒資料。模組說明參考文檔任務列表說明管道任務可放在資料夾中進行管理;使用者可複製、行動[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變更4.0-1.2 應用場景超級管理者給「部門/角色/人員」分配「人員管理」的授權權限,被賦予權限的物件將[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能变更4.0-1.2 应用场景超级管理员给「部门/角色/人员」分配「人员管理」的管理权限,被赋予权限的对象将[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動3.6.1新增節點「訊息通知」,可將任務調度結果以企業微信群機器人的形式通知給指定使用者4.0.1可將任務調度結果以郵件的形式通知給指定使用者[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.3-1.2 應用場景需要使用 FineDataLink 取出 API 資料時,由於資料量限制或者API回應時間,有時需要分頁取數。1.[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.30可配置全局參數,該參數可在多個定時任務中使用4.1.4交互優化4.1.8.1支援設定全局指派參數,可設定動態參數供所有定時任務使用[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能說明4.0.29-1.2 應用場景對資料安全性要求高的使用者,需要對發佈的 API 進行更高安全性的鑑權方式設定,提供更安全的認證方式,滿足更嚴格[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變更4.0-1.2 功能簡介FineDataLink 可在新增使用者或重置使用者密碼後 ,透過郵件通知實現以下場景:自動通知使用者帳號、[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.19-4.1.7.2介面優化4.1.14.1支援設定分組欄位,可按照分組欄位合併JSON欄位4.2.5.2支援 JSON 配[阅读全文:]
摘要:1. 概述1.1 版本說明FineDataLink 版本功能變動3.2新增節點「呼叫任務」,可以在當前任務中呼叫執行其他任務,參數傳遞不支援跨層級,僅可傳遞給子任務,不可傳遞給孫任務3.7.1可實現參數[阅读全文:]
摘要:1. 概述1.1 版本說明FineDataLink 版本功能變動4.0.13-1.2 應用場景資料同步與資料轉換的差別 已經說明了兩個功能的應用差別。「資料同步」:資料獲取—簡單處理—匯出「資[阅读全文:]
摘要:注:資料開發中實時任務當前屬於內測階段,如需試用或者瞭解詳細資訊,請交握技術支援(技術支援交握方式:前往「服務」,選擇「線上支援」、電話「400-811-8890」)。1. 概述1.1 版本FineDa[阅读全文:]
摘要:1. 概述1.1 應用場景FineDataLink 內建資料庫為 HSQL 資料庫。HSQL 資料庫不能多執行緒存取,叢集環境、資料量較大可能會導致 HSQL 資[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變更3.6.2数据转换概述 新增算子「Spark SQL」算子,可實現較靈活的資料轉換功能4.0.17「Spark SQL」算子支援使用[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動V1.5.2-4.0.9「ETL任務管理」優化為定時任務管理1.2 應用場景超級管理者可以給予某個物件「定時任務」的授權權限,使該物件將成為一[阅读全文:]
摘要:1. 概述透過資料管道實時同步資料時,執行同步任務前,需要在資料源中進行一些配置,開啟資料庫日誌並進行資料庫權限設定,以便 FineDataLink 監聽資料管道來源端的資料庫日誌變化,進行實[阅读全文:]
摘要:1. 概述1.1 版本說明FineDataLink 版本功能變動1.7增加內建參數:${cyctime}、${workname.opresult}、${jobname.opresult}4.0.31)增[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.30滑鼠左鍵點選節點,可配置節點名稱和備註1.2 應用場景如果希望多個節點可以並行運作後再轉到下游節點,可藉助「虛擬節點」實現。調度無[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.1.11.3定時任務支援讀取和寫入 PolarDB PostgreSQL 資料庫管道任務支援寫入 PolarDB P[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動V1.5.2-4.0.9「ETL任務管理」優化為定時任務管理4.0.14定時任務權限提示優化,詳情參見本文 2.2 節1.2 應用場景管理者希[阅读全文:]
摘要:1. 概述1.1 版本說明版本功能變動4.0.15-1.2 應用場景列轉欄可將一維表轉成二維表。一維表也常稱為流水線表格。一般有固定的列名,平常輸入資料只需要一行一行的新增即可。二維表格是一種關係型表格[阅读全文:]
摘要:1.概述完成資料源、資料庫環境、管道任務環境準備配置後,可建立管道任務,將多種類型的資料源輸入匯出鏈路進行組合,進行單表或整庫資料的實時同步。2. 準備工作在 FDL 中建立管道任務前,需要:準備一個[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.18表名、欄位名支援大小寫轉換自動建表時表名、欄位名支援大小寫自動糾正4.1.11.2YMatrix 資料庫支援該功能4.2.2.1S[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.9新增「XML解析」算子,可以將輸入 XML 資料解析為行列形式的資料1.2 應用場景對於 API、WebService、OData[阅读全文:]
摘要:1. 概述1.1 應用場景使用者的管道任務實現上百張表的實時同步,且存在部分來源表和目標表的表名不同、多張來源表同步到一張目標表等情況,導致使用者在管理來源表和目標表的對應關係時(例如重構任務)較為困難[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.2.4-1.2 應用場景管理者希望能為普通使用者分配「資料檢查」中指定資料檢查任務的查看和編輯權限。本文將介紹管理者如何給使用者分配資[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.11.4-1.2 應用場景超級管理者可以給予某個物件「實時任務」的授權權限,使該物件將成為一個次級管理者。次級管理者可以給下級成員分配[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.11.4-1.2 應用場景管理者希望能為普通使用者分配「實時任務」中指定的資料夾和實時任務的查看和編輯權限。本文將介紹管理者如何給使用[阅读全文:]
摘要:1. 問題描述使用者在登入 FineDataLink 系統時需要進行 用户身份验证 ,系統會對輸入帳號和密碼進行驗證,以確定系統安全。登入驗證資訊(帳號和登入密碼)儲存在資[阅读全文:]
摘要:1. 問題描述使用者在登入 FineDataLink 時需要進行 使用者身分驗證 ,系統會對輸入帳號和密碼進行驗證,以確定系統安全。登入驗證資訊(帳號和登入密碼)[阅读全文:]
摘要:提示:本文詳細說明 PolarDB PostgreSQL 資料源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情況,幫助使用者更好地理解和應用資料源。資料[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本新增超級管理者插件版本功能變更4.0V1.4-1.2 應用場景首次登入 FineDataLink 時,會設定一個超級管理者。在企業[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動V1.5.2新增資料平台授權權限4.0.9支援為「資料管道」功能分配授權權限4.0.26支援為「資料服務」功能分配授權權限4.1.6.1支援為[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動V1.5.2新增權限管理功能4.0.9支援為「資料管道」功能分配使用權限4.0.26支援為「資料服務」功能分配使用權限4.1.6.1支援為「庫[阅读全文:]
摘要:1. 概述1.1 版本報表伺服器版本功能變動4.0-4.0.21新增次級管理者支援「資源遷移」功能1.2 功能介紹FineDataLink 系統中支援新增多個次級管理者,協助超管進行系統管理/使用者管理[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0-4.1.12.3資料連結可放在資料夾中進行管理1.2 功能簡介超管可為 A 使用者分配資料連結的授權權限,這樣 A[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0-4.1.12.3資料連結可放在資料夾中進行管理1.2 功能簡介管理者可將資料連結、包含資料連結資料夾的管理權限分配[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1使用者管理新增「資料開發使用者」,與註冊license共同控制使用FineDataLink 的使用者數1.2 功能說明Fine[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0-4.1.12.3資料連結可放在資料夾中進行管理1.2 功能簡介管理者可將資料連結、包含資料連結資料夾的使用權限分配[阅读全文:]
摘要:1. 概述FineDataLink 提供了包含資料開發、任務維運等功能,滿足使用者對資料進行同步、處理、清洗等一系列的需求。本文為你說明「資料同步」和「資料轉換」在使用上的差別,幫助你更好地應用產品。注[阅读全文:]
摘要:1. 概述在 导入用户、同步使用者 前需要進行資料表的準備,將需要進行匯入或者同步的資料表首先接入 FineDataLink 系統,並進行簡單的資料處理,以便後續[阅读全文:]
摘要:1. 概述1.1 應用場景一個企業的職工人數是相當多的,並且由於人員的流動性,使用者資訊一直在變化,如果每次都透過手動新增修改,工作量將會非常大。FineDataLink 使用者同步資料集功能[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動1.9-4.0.30手動新增使用者時,帳號和姓名中包含的字元限制放寬1.2 應用場景管理者可手動新增單個使用者,並設定使用者資訊。管[阅读全文:]
摘要:提示:本文詳細說明 MaxCompute 資料源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情況,幫助使用者更好地理解和應用資料源。通用限制受 MaxCompute&nbs[阅读全文:]
摘要:1. 概述1.1 應用場景企業在構建數倉和中間庫時,由於業務資料量級較大,如果使用 資料同步 批量定時同步資料很難做到高效能的增量同步,若使用清空目標表再寫入資料的方式時,還會面臨目[阅读全文:]
摘要:1. 概述CDC(Change Data Capture),即資料變更抓取,透過為源端資料源開啟CDC,可實現資料源的實時資料同步以及資料表的 DDL 同步。本章節主要介紹如何為 SQL Server[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.0.17支援Mysql 設定同步源表結構變化4.1.8.2資料管道支援寫入神通資料庫,該資料庫支援DDL4.1.9.3支援使用[阅读全文:]
摘要:1. 概述本文以 MySQL 資料同步為例,將 demotest 資料庫中的「訂單資訊」、「庫存資訊」、「成本中心對照表」實時同步至 demo1 資料庫中。2. 操作步驟2.1 準備工作需準備一個獨立部[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.6支援 MySQL 作為讀取資料源4.1.4SAP HANA、DB2 支援作為讀取端4.1.7.2來源表若包含 _fdl_update[阅读全文:]
摘要:1. 概述FineDataLink版本功能變動4.0.26「管道控制」步驟中,新增「失敗重試」設定4.0.27髒資料臨界值由某個任務在某次開始運作到結束運作的區間臨界值變為任務自建立至今整體臨界值4.0[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.5-4.1.11.2管道任務自動建表支援指定分割槽(YMatrix )和分佈(YMatrix)邏輯,詳情參見:讀取、建立、寫[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.5-4.1.7.3支援 HANA 作為寫入資料源4.1.8.1配置管道任務-選擇資料來源 步驟中生成的分組表,不支援 DDL[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動--4.1.2支援多租戶架構作為管道任務資料來源端4.2.2.3資料管道源端適配 Oracle 21cCDC(Change Data Capt[阅读全文:]
摘要:1. 概述1.1 版本說明FineDataLink 版本功能變動4.0.5-4.1.3管道任務寫入端主動檢查 Kafka 連結是否異常,若異常,則日誌提示並終止任務4.1.13.2認證方式新增[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.1.13.2資料開發-定時任務支援讀取和寫入 Amazon S3 資料源4.2.0.1統一用 S3 協定相容目前已支援的全部檔[阅读全文:]
摘要:1. 概述FineDataLink 支援使用 Kafka 作為資料同步的中間軟體,暫存來源資料庫中的資料,便於目標資料庫寫入資料,實現實時資料同步。本文介紹 Kafka K[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.21Tomcat独立部署FDL, 「管理系統>資料連結>資料連結管理」處,遮蔽不支援的資料源類型資料連結名稱支援特殊字元`[阅读全文:]
摘要:1. 概述配置 TRANSWARP INCEPTOR資料源、Hadoop Hive資料源 時,存在設定項 HDFS 地址。如下圖所示:HDFS 地址介紹:是 Ha[阅读全文:]
摘要:1. 概述FineDataLink 支援使用 Kafka 作為資料同步的中間軟體,暫存來源資料庫中的資料,便於目標資料庫寫入資料,實現實時資料同步。本文介紹 Kafka Z[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.4-FineDataLink 資料管道支援執行同步任務前,需要參考本文為使用者賦予一些權限,為後續的資料同步做好準備。2. 使用者賦權[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1.4-CDC(Change Data Capture),即資料變更抓取,透過為源端資料源開啟CDC,FineDataLink 資料管道可[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.1-4.1.2支持多租戶模式4.2.2.3數據管道源端适配 Oracle 21cCDC(Change Data Capture),即數據變[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能說明4.0.30-1.2 應用場景開發人員希望能匯出開發完成的管道任務給維運人員遷移到正式生產的工程上調度運作。FineDataLink 工程做好[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能變動4.0.8-1.2 應用場景使用者希望 FDL 支援對接外部的獨立資料處理程式,例如執行遠端伺服器上的 Shell 腳本、Python 腳本等。[阅读全文:]
摘要:1.1 版本FineDataLink 版本功能變動3.5「資料轉換」節點新增算子「列欄轉換」,目前支援欄轉列功能,列轉欄功能敬請期待4.0.14列轉欄和「欄轉列」拆分4.0.30「轉換欄位設定」中,支援[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.1.6.3定時任務支援讀取 Gbase 8s資料服務支援 Gbase 8s1.2 應用場景FineDataLink[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.20定時任務支援讀取和寫入 HP Vertica4.1.6.3資料服務支援 HP Vertica1.2 應用場景F[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0.20.1資料管道支援從 Kafka 資料源中取數4.0.27交互體驗優化4.0.30選擇來源步驟中,隱藏「同步類型」設定項1.2 應用[阅读全文:]
摘要:1. 概述FineDataLink版本功能說明4.1.4資料管道來源端支援Sap Hana,版本要求為:2.0 SPS00~SPS074.1.5.4定時任務支援讀取和寫入 Sap Hana&n[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink 版本功能變動4.0定時任務讀寫適配 SQL server4.0.7資料管道輸入適配 SQL server資料管道匯出適配 SQL se[阅读全文:]
摘要:1. 概述1.1 版本FineDataLink版本功能變動4.0定時任務讀寫適配 Oracle4.0.7資料管道輸入適配 Oracle4.0.9資料管道匯出適配 Oracl[阅读全文:]
摘要:1. 概述1.1 版本 FineDataLink 版本功能變動4.0-4.1.13.1定時任務、管道任務中,目标表爲自動建表時,将自動根據 MySQL 版本确定編碼格式和行格式4.1.14.1[阅读全文:]
摘要:提示:4.0.29 之前版本,為保證寫入效能,建議使用 Hadoop Hive(HDFS) 資料連結。提示:4.0.29 及之後版本,若只是讀取 Hadoop H[阅读全文:]