使用限制编辑
FineDataLink 支持连接 GaussDB 200 ,进行定时任务读写、管道任务写入以及数据服务读取。
GaussDB数据库不支持管道任务设置「目标端执行逻辑删除」。
任务开发编辑
装载方式推荐
定时任务和数据管道任务中,装载方式可选择COPY装载、普通装载。
COPY装载:数据写入量较大时推荐使用。
普通装载:数据写入量小时推荐使用;或无法提供 COPY 方案所需用户权限时,选择普通装载方式。
定时任务中数据写入GaussDB 200
写入方式界面中可选择装载方式。如下图所示:
1)任务运行中不支持切换装载方式;运行暂停/终止允许切换装载方式;装载方式切换之后,任务按照选择的装载方式运行。
2)若开启 脏数据容忍 ,COPY 装载方式失败后,将尝试将该批数据使用普通装载方式写入,写入异常将统计进入脏数据,当前这一批数据写完后,下一批继续优先尝试使用COPY 装载方式;若未开启脏数据容忍,COPY 失败时直接报错,不再降级至普通装载方式。
若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建 schema 的权限)
管道任务中数据写入GaussDB 200
选择去向步骤中 可选择装载方式。如下图所示:
若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,因此需要给该数据连接账号赋予在对应数据库创建模式的权限。
特殊场景说明
特殊场景 | 处理策略 |
---|---|
COPY 方案装载时,源端待装载的单批数据中,存在N条(N>1)主键相同的数据 一批数据中多条源端数据,更新目标端的一条数据,不知道要用哪条更新,造成装载异常 | 优先走 COPY 逻辑,如果开启 脏数据容忍,失败会尝试普通装载方式写入数据 1)如果关闭了脏数据容忍,则节点直接报错,错误信息打印在日志中,用户需要在前置步骤中做主键数据去重 2)如果开启了脏数据容忍,则先进行降级处理,降级为普通装载写入该批数据,再按照实际的主键冲突策略确定执行方案
|