1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变更 |
---|---|
4.0.1.1 | 针对不同数据库的特性,屏蔽不支持的功能入口;目前支持的数据库中,要做屏蔽的,只有 Impala 数据库 |
1.2 功能简介
由于FineDataLink适配的部分数据源,不支持UPDATE更新或者DELETE删除操作,所以在使用此类数据库时,FDL 的部分功能无法使用,当前在产品功能中进行设计体现。
例如 Impala 数据库不支持 UPDATE 更新,在选择此数据源时,「比对字段」进行文字提示。如下图所示:
2. 具体介绍编辑
2.1 不同数据库特性支持说明
在 FineDataLink 中,下表所示的数据库作为目标表时,支持的操作如下:
数据库 | 表类型区分 | 清空表 | 物理主键 - 数据行对比 | 逻辑主键 - 数据行对比 | 追加数据行 | 更新数据行 | 删除数据行 |
---|---|---|---|---|---|---|---|
Doris StarRocks | Aggregate 聚合表 | √ | × | × | √ | × | × |
Unique 唯一主键表 | √ | √ 数据库提供的基于物理主键的比对策略,只有覆盖,没有忽略和停止写入 | √ | √ | √ | √ | |
Duplicate 明细表 | √ | × | √ | √ | √ | √ | |
Greenplum-JDBC | 堆表(增删改的表) | √ | √ | √ | √ | √ | √ |
AO表(只追加的表) | √ | √ | √ | √ | √ | × | |
Greenplum-并行装载 | 堆表(增删改的表) | √ | √ | √ | √ | √ | √ |
AO表(只追加的表) | √ | √ | √ | √ | √ | × | |
HIVE 星环 TRANSWARP INCEPTOR | √ | × | × | √ | × | × | |
GaussDB 200 | √ | √ | √ | √ | √ 性能较差 | √ 性能较差 | |
SQLite | √ | √ | √ | √ | √ | √ | |
简道云 | × | × | √ | √ | √ | √ | |
常规的数据库,支持全功能 | |||||||
MySQL Oracle PostgreSQL SQL Server ClickHouse DB2 GBase 8a HP Vertica Informix KingbaseES SAP HANA 达梦 TiDB | √ | √ | √ | √ | √ | √ |
2.2 功能限制
基于目标端的不同特性,功能限制如下表所示:
目标端特性 | 限制使用的功能点 | 处理策略 | 存在此特性的目标端 | 仅表类型存在此特性的目标端 |
---|---|---|---|---|
不支持库\模式(Schema) | 选库\模式的功能 | 隐藏 | 简道云、SQLite | - |
不支持建表或建表时有特殊要求 | 自动建表功能 | 隐藏 | 简道云、Doris\StarRocks | - |
不支持物理主键 | 自动建表 - 字段映射 - 设置物理主键 已存在表 - 字段映射 - 主键标识列 | 隐藏 | 简道云 | Doris StarRocks - Duplicate 明细表 Greenplum - AO表 |
不支持非空约束 | 自动建表 - 字段映射 - 设置非空约束 已存在表 - 字段映射 - 主键标识列 | 隐藏 | 简道云 | - |
不支持清空表 | ①清空目标表,再写入数据 | 灰化+禁用 | 简道云 | - |
不支持主键比对(物理主键、逻辑主键均不支持) | 通过主键建立数据行对应关系的功能: ①直接将数据写入目标表 - 主键冲突策略 ③基于标识字段,追加/更新/删除数据 | 灰化+禁用 | Hive\星环 Inceptor (选择去向时就灰化禁用) | Doris StarRocks - Aggregate 聚合表 |
支持主键比对(物理主键或逻辑主键),但不支持更新数据 | ①直接将数据写入目标表 主键相同,覆盖目标表的数据 ③基于标识字段,追加/更新/删除数据 修改的数据行:更新 | 灰化+禁用 | - | - |
支持主键比对(物理主键或逻辑主键),但不支持删除数据 | ③基于标识字段,追加/更新/删除数据 删除的数据行:删除 | 灰化+禁用 | - | - |
支持主键比对(物理主键或逻辑主键),但不支持忽略主键冲突 | ①直接将数据写入目标表 主键相同,忽略输入源的数据 | 灰化+禁用 | - | Doris StarRocks - Unique 唯一主键表 Greenplum - AO表 |
支持主键比对(物理主键或逻辑主键),但不支持主键冲突报错 | ①直接将数据写入目标表 主键相同,停止写入并报错 | 灰化+禁用 | - | Doris StarRocks - Unique 唯一主键表 |