優化「新增表」列表展示效果，支援顯示分類
選擇自動建表時，目標表名稱預設為來源表的英文名，備註為來源表中文名
當目標庫是 SQL Server 時，來源表的 String 預設對應目標表的 nvarchar(max)
定時管道支援 DDL 檢測，詳情請參見：定時管道DDL同步
「同步起點」配置項更名為「首次同步起點」
釘釘OA審批、釘釘宜搭、釘釘（企業內部應用）、飛書表格應用資料源，在欄位映射處支援修改來源端欄位類型
定時管道新增表時支援查看表資訊&顯示灰化增量無主鍵表
支援批量修改欄位類型
主子表展示形式優化
新增表的路徑優化
當前開發者在對接標準平台時，面臨雲上應用資料源對接不準確、效率低、維運成本高的問題。希望提供一種快速、精準、低維運的對接方案，簡化開發流程，提升對接效率。
透過雲上代理轉發+解析方案，以定時任務方式對接應用資料源，簡化資料獲取流程，解決多源異構資料整合的問題，降低企業在資料開發環節的時效性成本，並提供統一的任務管理和監視，助力企業快速連結和使用分散在各系統/平台的資料，實現資料驅動的業務分析與決策。
源端刪除表資料：
若源端為全量表：可以保證來源端和目標端資料一致 。
若源端為增量表：
1）場景一：源端表中有欄位標記刪除資料，資料刪除後，更新資料記錄時間，目標表能和來源表資料一致 。
2）場景二：源端直接刪除資料，目標端不會隨之刪除，解決方案：
方案一：資料量少的表使用全量同步，資料量大的表使用定時任務先刪除一段時間的資料，再進行定時管道任務呼叫 。
方案二：來源表增加邏輯刪除識別符號，不進行物理刪除，進行邏輯刪除 。
1）需要先配置定時管道來源端、目標端的資料連結；定時管道適配的資料源請參見：定時管道支援的資料源
工程所在伺服器需具備存取外網權限，或者可以配置白名單：
1）工程所在伺服器需具備存取外網權限，或者可以配置白名單：
域名白名單：dm.shukuajing.com
IP 白名單：47.110.75.116
埠白名單：443
2）需確定待讀取的表中有資料，否則定時管道運作後會報錯。
2）使用者需註冊「定時管道」功能點才能使用定時管道功能。
3）使用者若想建立定時管道任務，需要有定時管道的管理權限，詳情請參見：定時管道任務管理權限
4）定時管道模組受 負載分配 功能限制，使用者需要調整定時管道模組的記憶體分配、併發控制才能正常使用定時管道功能。
進入 FineDataLink 工程後，點選「資料管道>定時管道」，可建立定時管道任務。設定定時管道任務名稱、所屬目錄後，點選「確定」按鈕即可。如下圖所示：
選擇定時管道任務的來源端、目標端。如下圖所示：
注 ：定時管道任務適配的來源端、目標端請參見：定時管道支援的資料源
1）點選「新增表」按鈕，在彈窗裏選擇待同步表。如下圖所示：
支援模糊搜尋表名稱。
下拉框中只展示當前任務未選擇的表。
最多支援選擇 300 張表。
4.2.14.1 及之後版本，新增表時支援查看表資訊。如下圖所示：
2）使用者可設定子表匯出方式（若來源表包含子表）、首次同步起點。如下圖所示：
1）若來源表為全量表、無子表，則無法設定首次同步起點、子表處理
2）若來源表為全量表、有子表，則無法設定首次同步起點
3）若來源表為增量表、無子表，支援設定首次同步起點
4）若來源表為增量表、有子表，則可設定首次同步起點、子表處理
1）首次同步起點僅在建立表時支援配置；
2）首次同步時間預設為當前時間 7 天前的日期值（精確到秒）
3）為定時管道任務 首次運作 時每個表的同步起點
首次同步起點是一次性配置，相當於先獲取近 7 天的資料驗證一下準確性，確認沒有問題後，在手動運作同步資料（本文 3.6 節）時，可以自訂資料的取數範圍，獲取歷史資料。
注 ：每次一個增量表同步成功後斷點位置就會更新到最新位置，一個增量表同步失敗則不更新斷點位置（更新到失敗前成功寫入的位置），不同表之間相互不影響
注 2：全量表無此配置，也不會更新斷點位置。
匯出效果見本文 3.6.2 節
以欄位匯出：
1）最終匯出效果：目標表為一張，包含「主表所有欄位」+「一個包含子表資料的JSON欄位」
以子表匯出：
1）最終匯出效果：目標表為多張，主表內容和子表內容單獨匯出；主表僅同步主表欄位，子表同步主表的主鍵欄位+子表所有欄位
2）子表的表類型跟隨主表
3）若刪除主表，子表一起被刪除，不支援單獨刪除子表
注：以子表匯出後，匯出的子表資料可透過主表的主鍵進行聯動
可對表類型進行篩選
支援批量設定表的首次同步起點、子表處理；支援批量刪除來源表
新增完表後，介面如下圖所示：
注 1：通用配置-自動建表配置、通用配置-欄位映射規則 對定時管道任務生效。
注 2：4.2.12.4 及之後版本，當目標庫是 SQL Server 時，來源表的 String 預設對應目標表的 nvarchar(max)。
可對目標表的配置情況、表建立方式進行篩選。如下圖所示：
可選擇同名映射、同行映射。詳情請參見：資料同步-資料去向與映射
選中主表後，點選「表處理」按鈕後，介面如下圖所示：
子表不顯示「表處理」按鈕
點選「表處理」按鈕，可修改主表的同步起點、子表處理方式
目標表建立方式：已存在表、自動建表
4.2.12.4 及之後版本，選擇「自動建表」時，目標表名稱預設為來源表的英文名稱
注1：目標表建表方式建議選擇「自動建表」
注2：若目標表為「已存在表」&來源表存在主鍵，目標表中主鍵需要與來源表中主鍵一一對應，否則同步可能會出錯或者同步速度較慢
注3：來源表同步時，會同步一些系統欄位幫助排查，若使用者不需要，可取消映射
可對目標表的映射情況進行篩選：
點選「批量操作」按鈕後，可對來源表批量修改同步起點、子表處理方式；可批量修改目標表建立方式；可批量刪除來源表
支援為目標表新增備注
4.2.12.4 及之後版本，選擇「自動建表」時，表備註預設為來源表中文名
欄位顯示說明：
來源表的系統欄位被標記顯示；當來源表沒有主鍵時，系統欄位標記為主鍵，不可取消映射
顯示三列：來源表欄位、類型、註釋
欄位類型支援：string、date、number、date
顯示四列：來源表欄位、類型、主鍵、註釋
批量修改欄位類型：
4.2.17.4及之後版本，選擇多個來源表欄位，可批量修改目標表欄位類型
修改單個欄位類型：
4.2.14.1 及之後版本，釘釘OA審批、釘釘宜搭、釘釘（企業內部應用）、飛書表格應用資料源，在欄位映射處支援修改來源端欄位類型。
目標表為自動建表：
若目標表選擇「自動建表」，定時管道任務運作成功後，仍為「自動建表」
1）來源表不是子表
映射的來源表的主鍵不可取消
不支援新增新的主鍵
2）來源表為子表
不支援配置主鍵
不顯示主鍵、NOT NUL列
目標表為已存在表：
來源表為子表：
顯示主鍵、NOT NUL列
寫入方式介面如下圖所示：
注 ：寫入方式不支援修改。
來源表有主鍵，且目標表主鍵與來源表主鍵建立映射
來源表無主鍵
根據來源表主鍵，生成主鍵映射行確定資料唯一性
顯示內容：
根據來源表的等值欄位（主表主鍵欄位）生成映射行，作為目標表資料清空再寫入的依據
配置完成成，點選下方「儲存」按鈕即可。
注：若建立的定時管道任務沒有儲存，直接點選「傳回」按鈕，任務狀態記錄為草稿態，下次點選任務進入建立頁面。
1）在定時管道任務詳情頁，點選「運作所有表」按鈕。全量表將同步所有資料，增量表將按照首次同步時間先獲取一小部分資料，驗證一下資料的準確性。如下圖所示：
2）若資料無誤，再自訂資料同步起點，拉取歷史資料。如下圖所示：
若來源表有子表，配運作成功後，寫入資料效果如下：
以欄位匯出目標表：
以子表匯出目標表：
主表資料：
其中一張子表資料：
子表單獨匯出且對應的目標表為自動建表時，等值更新的欄位會建立索引。如下圖所示：
在定時管道任務詳情頁，點選「任務控制」按鈕，可為定時管道任務設定故障容許度機制、結果通知、日誌等級。
可為定時管道任務設定單表髒資料臨界值、失敗重試。如下圖所示：
應用場景：
資料同步允許一定的故障容許度，比如欄位類型、長度不匹配、主鍵衝突等等問題，可以設定產生的髒資料上限，達到上限則自動終止表同步
功能效果：
使用者設定髒資料臨界值 1000 條，當某張表從第一次同步到目前為止髒資料達到 1000 條後，會終止該表的同步
功能簡介：
預設 1000 條，最大值為1w
超出臨界值僅該表同步失敗，不影響其他表
詳情請參見：實時管道任務失敗重試
失敗重試與報錯邏輯：
1）任務讀取、任務寫入異常時（比如源端連結失敗、目標端連結失敗，這類會導致所有表同步失敗的問題）：
如果開啟了失敗重試，則表的同步暫停（表狀態不變），先進行任務級失敗重試，如果重試成功，則繼續表的同步，此時不記錄表級的報錯和重試
如果沒開啟失敗重試或者重試後依然失敗，則直接報錯任務同步失敗，影響的表均記錄單表同步失敗事件（包括失敗詳情）
2）當任務層級沒有異常，單表出現異常時：
如果開啟了失敗重試，則對於單表進行重試，記錄表的異常事件和重試，不影響任務本身和其他表；如果重試成功最後該表為同步成功
如果沒開啟失敗重試或者重試後依然失敗，則表記錄單表同步失敗，不影響其他表的運作，最終任務記錄同步失敗事件
可將任務運作結果通知給使用者。如下圖所示：
標題：
[定時管道] 任務 #jobname# 構建失敗
內容：
定時管道任務 #jobname# 構建失敗，本次同步開始時間為#start_time# ，結束時間為#finish_time# ，請前往【維運中心】-【定時管道】-【運作記錄】查看
[定時管道] 任務 #jobname# 運作結束，存在異常表同步
定時管道任務 #jobname# 運作結束，本次同步開始時間為#start_time# ，結束時間為#finish_time# ，x張表同步出現異常，y張表成功同步，請前往【維運中心】-【定時管道】-【運作記錄】查看
[定時管道] 任務 #jobname# 運作結束，無異常
定時管道任務 #jobname# 運作結束，本次同步開始時間為#start_time# ，結束時間為#finish_time# ，x張表全部成功同步，詳情請前往【維運中心】-【定時管道】-【運作記錄】查看
[定時管道] 任務 #jobname# 運作結束，存在髒資料
定時管道任務 #jobname# 運作結束，本次運作累計擷取髒資料x條，請前往【維運中心】-【定時管道】-【運作記錄】查看
源表結構變化
（4.2.12.4 及之後版本新增）
簡訊提醒/郵件提醒
定時同步源表結構變化通知
您好，定時管道「#taskname#」中，來源表「#tablename#」結構發生變化，請前往「任務維運」-「定時管道」模組，在對應任務日誌中查看詳情。
平台訊息：
定時管道「#taskname#」中，來源表「#tablename#」結構發生變化，請前往「任務維運」-「定時管道」模組，在對應任務日誌中查看詳情。
刪除欄位 - 定時管道任務名 - 來源表名
新增欄位 - 定時管道任務名 - 來源表名
修改欄位類型 - 定時管道任務名 - 來源表名
支援通知渠道：平台使用者、釘釘、飛書、企業微信、郵件、簡訊、WeLink 。
平台/郵件/簡訊說明：
當通知渠道為簡訊/郵件/平台渠道時：基於平台體系配置通知物件，通知物件可選擇平台使用者、部門、角色，三者取並集。
通知渠道選擇簡訊/信箱時，「自訂收件人」與「平台使用者組」不能同時為空；其中，「自訂收件人」不支援引用參數。
通知渠道選擇簡訊/信箱時，「平台使用者組」中選擇了 A 使用者，自訂收件人中也設定了 A 使用者，不做重複通知。
釘釘/飛書/企業微信/WeLink 設定說明：
通知渠道選擇「用戶端」時，可設定通知渠道為釘釘群機器人/飛書群機器人/企業微信群機器人/WeLink。
注：一個通知渠道中，Webhook 地址不支援填寫多個。
群機器人地址說明：
1）釘釘群機器人 Webhook 地址：可參考 自訂機器人接入
目前暫不支援在釘釘群機器人中設定加簽。
2）飛書群機器人 Webhook 地址：自訂機器人使用指南
3）企業微信群機器人 Webhook 地址：新增群機器人步驟如下圖所示，機器人新增成功的提示頁面上會有 webhook 地址。
4）4.2.19.1及之後版本，新增「WeLink」通知方式，具體設定項說明請參見：WeLink
可為定時管道任務單獨設定日誌匯出級別，滿足使用者按需查看日誌、除錯和排錯的需求；可以在更細粒度的日誌等級裏，列印詳細的日誌，供使用者查看。
如下圖所示：
詳情請參見：配置管道任務-任務控制 文檔的 2.4 節內容。
在定時管道任務詳情頁，點選「排程管理」按鈕，可為定時管道任務設定執行頻率。如下圖所示：
詳細說明請參見：排程管理
注：一個定時管道任務只能新增一個排程管理；關閉調度後，將不再按照執行頻率到期執行，如果關閉時任務已開始運作，不中止本次同步。
注：對於正在運作的任務，如果運作到下次調度時間還沒結束，不再被調度發起新的實體。
行動、重新命名、刪除管道任務
編輯、刪除、運作定時管道任務
滑鼠選中內容，快速回饋問題
滑鼠選中存在疑惑的內容，即可快速回饋問題，我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙