历史版本2 :GaussDB 200数据源使用说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

使用限制编辑

FineDataLink 支持连接 GaussDB 200 进行定时任务读写管道任务写入以及数据服务读取

任务开发编辑

装载方式推荐

定时任务和数据管道任务中,装载方式可选择COPY装载普通装载

COPY装载:数据写入量较大时推荐使用。

普通装载:数据写入量小时推荐使用;或无法提供 COPY 方案所需用户权限时,选择普通装载方式。

定时任务中数据写入GaussDB 200

写入方式界面中可选择装载方式。如下图所示:

1)任务运行中不支持切换装载方式;运行暂停/终止允许切换装载方式;装载方式切换之后,任务按照选择的装载方式运行。

2)若开启 脏数据容忍 ,COPY 装载方式失败后,将尝试将该批数据使用普通装载方式写入,写入异常将统计进入脏数据,当前这一批数据写完后,下一批继续优先尝试使用COPY 装载方式;若未开启脏数据容忍,COPY 失败时直接报错,不再降级至普通装载方式。

若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建 schema 的权限)

管道任务中数据写入GaussDB 200

选择去向步骤中 可选择装载方式。如下图所示:

若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,因此需要给该数据连接账号赋予在对应数据库创建模式的权限。

特殊场景说明

特殊场景
处理策略
COPY 方案装载时,源端待装载的单批数据中,存在N条(N>1)主键相同的数据

一批数据中多条源端数据,更新目标端的一条数据,不知道要用哪条更新,造成装载异常

优先走 COPY 逻辑,如果开启 脏数据容忍,失败会尝试普通装载方式写入数据

1)如果关闭了脏数据容忍,则节点直接报错,错误信息打印在日志中,用户需要在前置步骤中做主键数据去重

2)如果开启了脏数据容忍,则先进行降级处理,降级为普通装载写入该批数据,再按照实际的主键冲突策略确定执行方案

  • 原来目标表中有对应主键数据,则记录N条脏数据

  • 原来目标表中没有对应主键数据,则记录N-1条脏数据

  • 「主键相同,覆盖目标表数据」:发生主键冲突时,后来的数据覆盖之前的同主键数据

  • 「主键相同,忽略输入源数据」:发生主键冲突时,忽略后来的数据

  • 「主键相同,记录脏数据」:发生主键冲突时,后来的同主键数据视为脏数据