历史版本9 :定时任务数据源功能限制说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变更
4.0.1.1
针对不同数据库的特性,屏蔽不支持的功能入口;目前支持的数据库中,要做屏蔽的,只有 Impala 数据库

1.2 功能简介

由于FineDataLink适配的部分数据源,不支持UPDATE更新或者DELETE删除操作,所以在使用此类数据库时,FDL 的部分功能无法使用,当前在产品功能中进行设计体现。

例如 Impala 数据库不支持 UPDATE 更新,在选择此数据源时,「比对字段」进行文字提示。如下图所示:

1650857062609229.png

2. 具体介绍编辑

2.1 不同数据库特性支持说明

在 FineDataLink 中,下表所示的数据库作为目标表时,支持的操作如下:

数据库
表类型区分清空表非空约束物理主键物理主键 - 数据行对比逻辑主键 - 数据行对比追加数据行更新数据行删除数据行

Doris

StarRocks

Aggregate 聚合表××××

Unique 唯一主键表

数据库提供的基于物理主键的比对策略,只有覆盖,没有忽略和停止写入


Duplicate 明细表××
Greenplum-JDBC堆表(增删改的表)
AO表(只追加的表)××
Greenplum-并行装载堆表(增删改的表)
AO表(只追加的表)××

HIVE

星环 TRANSWARP INCEPTOR

×××××
GaussDB 200


性能较差

性能较差

RedShiftJDBC××
高速装载×××××
SQLite
简道云××××
常规的数据库,支持全功能
MySQL

Oracle

PostgreSQL

SQL Server

ClickHouse

DB2

GBase 8a

HP Vertica

Informix

KingbaseES

SAP HANA

达梦

TiDB

2.2 功能限制

基于目标端的不同特性,功能限制如下表所示:

目标端特性限制使用的功能点处理策略存在此特性的目标端仅表类型存在此特性的目标端
不支持库\模式(Schema)选库\模式的功能隐藏简道云、SQLite-
不支持建表或建表时有特殊要求自动建表功能隐藏简道云、Doris\StarRocks-
不支持物理主键

自动建表 - 字段映射 - 设置物理主键

已存在表 - 字段映射 - 主键标识列

隐藏简道云

Doris

StarRocks - Duplicate 明细表

Greenplum - AO表

不支持非空约束

自动建表 - 字段映射 - 设置非空约束

已存在表 - 字段映射 - 主键标识列

隐藏简道云-
不支持清空表①清空目标表,再写入数据灰化+禁用简道云-
不支持主键比对(物理主键、逻辑主键均不支持)

通过主键建立数据行对应关系的功能:

①直接将数据写入目标表 - 主键冲突策略

③基于标识字段,追加/更新/删除数据

灰化+禁用

Hive\星环 Inceptor

(选择去向时就灰化禁用)

Doris

StarRocks - Aggregate 聚合表

支持主键比对(物理主键或逻辑主键),但不支持更新数据

①直接将数据写入目标表

主键相同,覆盖目标表的数据

③基于标识字段,追加/更新/删除数据

修改的数据行:更新

灰化+禁用--
支持主键比对(物理主键或逻辑主键),但不支持删除数据

③基于标识字段,追加/更新/删除数据

删除的数据行:删除

灰化+禁用--
支持主键比对(物理主键或逻辑主键),但不支持忽略主键冲突

①直接将数据写入目标表

主键相同,忽略输入源的数据

灰化+禁用-

Doris

StarRocks - Unique 唯一主键表

Greenplum - AO表

支持主键比对(物理主键或逻辑主键),但不支持主键冲突报错

①直接将数据写入目标表

主键相同,停止写入并报错

灰化+禁用-

Doris

StarRocks - Unique 唯一主键表