1. 版本
FineDataLink 版本 | 功能变动
|
---|
1.5 | 数据输入适配 API |
4.1.13.2 | 数据开发-实时任务支持读取 MQTT 数据源、IBM MQ数据源 数据开发-定时任务支持读取和写入 Amazon S3 数据源 |
4.1.13.3 | 数据开发-实时任务写入支持 ClickHouse 数据开发-定时任务中的「数据同步」节点,支持从应用数据平台中读取数据 |
4.2.0.1 | 定时任务读取和写入适配 openGauss 库表管理功能支持 openGauss |
4.2.0.2 | 定时任务支持读写 Impala 数据库的 Kudu 表 管道任务支持写入 Impala 数据库的 Kudu 表 数据服务支持发布 Impala 数据库的 Kudu 数据 定时任务中支持读取 Elasticsearch 数据
|
查看历史版本更新 |
FineDataLink版本
| 功能变动 |
---|
2.2 | 数据输入适配服务器数据集 | 3.2 | 数据输入适配 IBM DB2、ClickHouse、HSQL、Presto、云端Swift | 3.5 | 数据输入适配 Impala | 3.5.2 | 数据输入适配 Sap Hana 数据输出适配 Sap Hana
| 3.6.2 | 数据输出适配 db2 | 3.7 | 数据输出适配 clickhouse | 4.0.1.1 | 数据输出适配 Impala | 4.0.3 | 数据输入适配 Informix 数据输出适配 Informix
| 4.0.4
| 数据输入适配 Greenplum、Greenplum(并行装载) 数据输出适配 Greenplum、Greenplum(并行装载) | 4.0.4.2
| 数据输入适配 Hive 数据输入适配 MongoDB | 4.0.7 | 数据管道输入适配SQL server、Oracle 数据管道输出适配SQL server 数据输入适配达梦 | 4.0.8 | 数据管道输出适配 GaussDB 200 数据输入、输出适配GaussDB 200
| 4.0.9 | 数据管道输出适配Oracle 、PostgreSQL | 4.0.10 | 数据开发中输出适配 Gbase 8A 数据开发中输入适配 SAP RFC
| 4.0.11 | 数据管道输入适配PostgreSQL 数据开发输出适配 Hive 数据开发中输入适配 Gbase 8A | 4.0.14 | 数据开发中输入支持 FTP、SFTP
| 4.0.15 | 数据管道输出适配 Greenplum、Greenplum(并行装载) 数据开发输入输出适配 KingbaseES V8 | 4.0.18 | 支持 Oracle18c、19c 、Oracle RAC集群作为数据管道任务读取数据源 | 4.0.20 | 数据开发读写适配HP Vertica | 4.0.20.1 | 数据管道输入支持 Kafka | 4.0.23 | 定时任务输入输出支持 Doris 管道任务数据输出支持 Doris | 4.0.24 | 定时任务输入输出支持TRANSWARP INCEPTOR、StarRocks 管道任务数据输出支持StarRocks | 4.0.26 | 定时任务输入支持 MaxCompute | 4.0.27 | 定时任务支持读取FineBI「公共数据」 数据服务支持读取FineBI「公共数据」 | 4.0.28 | 定时任务支持读取和写入 TiDB 数据库 管道任务支持写入至 TiDB 数据库 管道任务支持写入至 ClickHouse 管道任务支持写入至Amazon Redshift 定时任务支持读取和写入 Amazon Redshift 管道任务支持写入至 SeaboxMPP 数据库 | 4.1 | 注册功能点调整 数据服务支持Doris\Impala\TiDB\星环数据源 | 4.1.2 | 数据服务支持 StarRocks、GaussDB、MaxCompute 数据源 新增插件类型数据源-通用JDBC | 4.1.3 | 数据服务支持 DB2 数据源 | 4.1.4 | | 4.1.5.3 | 数据开发支持读取 SAP Sybase ASE数据源 | 4.1.5.4 | 数据开发支持读取 SAP HANA V2.0数据源 | 4.1.5.5 | 定时任务中支持读取和写入 SeaboxMPP 数据库 | 4.1.6.1 | 管道任务支持写入达梦数据库 | 4.1.6.3 | 定时任务支持读取 Gbase 8s 数据库 数据服务支持 GBase8s、KingbaseES、ClickHouse、HANA、达梦、Vertica 数据源 | 4.1.6.4 | 定时任务支持写入 MongoDB | 4.1.7.3 | 管道任务支持写入 HANA | 4.1.8.2 | 定时任务支持读取和写入神通数据库 管道任务支持写入神通数据库 数据服务支持读取神通数据库 | 4.1.8.3 | 适配Impala 3.4、Impala 4.1 | 4.1.10.4 | 数据管道来源端支持 MySQL5.5 | 4.1.11.2 | 定时任务支持读取和写入 YMatrix 数据库 管道任务支持写入 YMatrix 数据库 数据服务支持读取 YMatrix 数据库 库表管理模块支持 YMatrix 数据库 | 4.1.11.3 | 定时任务支持读取和写入 PolarDB PostgreSQL 数据库 管道任务支持写入 PolarDB PostgreSQL 数据库 数据服务支持读取 PolarDB PostgreSQL 数据库 库表管理功能支持 PolarDB PostgreSQL 数据库 定时任务支持写入 Elasticsearch 数据源 | 4.1.11.4 | 定时任务支持写入 MaxCompute 数据源 定时任务支持读取 FineLogDB(FDL) 数据源 新增实时任务支持的数据源 |
|
2. 数据管道支持的数据源类型
FineDataLink-数据管道,实时数据同步支持的数据源类型如下表所示:
一级分类
| 二级分类 | 数据源
| 读取 | 写入 | 环境准备 | 日志解析方式 | DDL支持情况 |
---|
高阶数据源 | Mysql(Binlog) | MySQL | MySQL 5.5及以上的非只读数据库 | MySQL 5.6及以上的非只读数据库
| MySQL环境准备 | Binlog | 数据管道DDL支持数据源范围
|
SQL Server(CDC) | SQL Server |
支持的版本 | 企业版(Enterprise Edition) 2008 2012 2014 2016 2017 2019 标准版(Standard) 2016 SP1 2017 2019 |
| 支持的版本 | 2000 2005 2008 2012 2014 2016 2017 2019 |
| SQL Server 环境准备 | CDC |
Oracle(Logminer) | Oracle | 支持的版本 | Oracle 10g 11g 12c 18c 19c Oracle RAC集群 |
| 支持的版本 | Oracle 10g 11g 12c 18c 19c Oracle RAC集群 |
| Oracle 环境准备 | LogMiner |
PostgreSQL(wal2json) | PostgreSQL | PostgreSQL 9.4以及以上版本 | postgresql_9.4.7 9.5.0 | PostgreSQL环境准备 | wal2json |
消息队列 | Kafka | 0.10.2到3.4 | 暂不支持 |
|
|
Db2(CDC) | Db2 | 9.x、10.x、11.x | 暂不支持 | DB2 环境准备 | CDC |
SAP HANA | SAP HANA | 2.0 SPS00~SPS07 | 2.0 SPS00~SPS07 | SAP HANA 环境准备 | 触发器 |
进阶数据源 | 进阶-大数据 | GaussDB 200 | 暂不支持 | GaussDB 200 |
|
|
Greenplum | 暂不支持 | 5.X 和 6.X | 用户须知 | Greenplum作为目标端时,需要数据库用户具有CREATE SCHEMA和CREATE TABLE权限。数据装载时,将新建名为fdl_temp的模式用于存放临时表。 |
|
|
Doris | 暂不支持 | 0.14及以上版本 |
|
|
StarRocks | 暂不支持 | 2.3 以上版本 |
|
|
TiDB | 暂不支持 | V5.2.0 V5.2.1 |
|
|
ClickHouse | 暂不支持 | 20.1.8.41 |
|
|
Amazon Redshift | 暂不支持 | 支持云上普通版本同时也支持预置集群版本和Serverless版本 |
|
|
Apache Impala | 暂不支持 | 支持
支持的版本 | Impala 2.2 Impala 2.3 Impala 2.8 Impala 2.9 Impala 2.10 Impala 3.4 Impala 4.1 Impala 2.10 kudu1.5 |
|
|
|
SeaboxMPP | 暂不支持 | 21.0.3.398 |
|
|
PolarDB PostgreSQL | 暂不支持 | polarDB Oracle2.0 polarDB pg14 |
|
|
YMatrix | 暂不支持 | 5.X
|
|
|
基础数据源
| 基础数据源 | 达梦 | 暂不支持 | 8.1 |
|
|
神通数据库 | 暂不支持 | 7.0
|
|
|
3. 定时任务支持的数据源类型
FineDataLink-数据开发,定时数据同步支持的数据源类型如下表所示:
一级分类
| 二级分类 | 数据源 | 支持的数据库版本 | 数据读取 | 数据写入 |
---|
基础数据源 | 基础数据源
| MySQL | 支持的版本 | MySQL_5.1 MySQL_5.5 MySQL_5.5.46 MySQL_5.5.5
MySQL_5.6.22 MySQL_5.6.28 MySQL_5.6.29 MySQL_5.6.31 MySQL_5.6.34 MySQL_5.6.35 MySQL_5.6.37 MySQL_5.7
MySQL_5.7.16 MySQL_6.5 MySQL_8.0 |
| √ | √ |
Oracle | 支持的版本 | oracle 9i oracle_9.2 oracle10.2.0 oracle 11g oracle_11g2 oracle_11.2.0.3 oracle_11.2.0.4 oracle_11.2.3 oracle 12c oracle 10g AIX版本 oracle19c |
| √ | √ |
SQL Server | 支持的版本 | SQL server 2000 SQL server 2005 SQL server 2008 SQL server 2012 SQL server 2014
SQL server 2016 SQL server 2019注:SQL server 2019 支持在4.0.17.1以及之后的FDL版本中使用。 |
| √ | √ |
PostgreSQL | postgresql_9.4.7 9.5.0; | √ | √ |
openGauss
| 3.0.0及以上版本 | √ | √ |
SQLite | - | √ | √
用户须知 | 注:SQLite 仅为内部 Demo 数据库,FDL 集群工程中若使用 SQLite 作为目标端,节点间数据一致性会有问题 |
|
HSQL | - | √ | 开发中 |
IBM DB2 | 支持的版本 | DB2_7.2 DB2_8.1 DB2_8.2 DB2_9.7 DB2_10.5 |
| √ | √ |
Informix | V11.7、V11.5、V12.x | √ | √ |
达梦 | 8.1 | √ | √ |
SAP HANA | V2.0 | √ | √ |
KingbaseES | KingbaseES V8 | √ | √ |
神通数据库 | 7.0 | √ | √ |
服务器数据集 | - | √ | 不支持 |
公共数据 | - | √ | √ |
SAP Sybase ASE | ASE15.7(集群)、16.0(集群)以及12.5(单机)和15.5(单机) | √ | 不支持 |
Gbase 8s | 8.7 | √ | 不支持 |
FineLogDB(FDL)
| - | √ | 不支持 |
进阶数据源 | 大数据
| Impala | 支持的版本 | impala 2.2 impala 2.3 impala 2.8 impala 2.9 impala 2.10
impala 2.10 kudu1.5 Impala 3.4 Impala 4.1 Impala 2.10 kudu1.5 |
| √ | 支持写入 Impala 数据库的 Kudu 表 |
ClickHouse | 20.1、22.6
| √ | √ |
Presto | Presto_0.152 Presto_0.169 | √ | 开发中 |
Greenplum | 5.X 和 6.X | √ | √ |
PolarDB PostgreSQL | polarDB Oracle2.0 polarDB pg14 | √ | √ |
YMatrix | 5.X | √ | √ |
Hive | 支持的版本 | hive_1.1 Hadoop_Hive_1.2 hive2.3 hive2.1.2 hive2.1.1 hive3.3.1 |
| √ | √ |
GaussDB 200 | - | √ | √ |
Gbase 8A | - | √ | √ |
HP Vertica | V7.2.1-V10.0、 V12.0.3 | √ | √ |
Doris | 0.14及以上版本 | √ | √ |
TRANSWARP INCEPTOR | V4.6、V4.9.2、V5.2.1、V6.0.2 | √ | √ |
StarRocks | 1.19及以上版本 | √ | √ |
阿里云MaxCompute | MaxCompute JDBC 驱动版本为 3.2.7 以上 | √ | √
|
TiDB | V5.2.0 V5.2.1 | √ | √ |
Amazon Redshift | 预置集群版本和Serverless版本 | √ | √ |
SeaboxMPP | 21.0.3.398 | √ | √ |
NoSQL | MongoDB | 7及以下版本都支持 | √ | √ |
Elasticsearch | 只支持 7.0 及以上集群和非集群版本 | √ | √ |
应用连接器(定时) | 简道云
| - | √ | √ |
SAP ERP | - | √ | 开发中 |
应用数据平台
|
| √ | 不支持 |
接口协议(定时) | API | - | √ | √ |
WebService | - | √ | 开发中 |
文件系统 | FTP/SFTP | - | √ | √ |
本地文件 | - | √ | √ |
Amazon S3
| - | √ | √ |
4. 数据服务支持的数据源
FineDataLink-数据服务支持的数据源类型如下表所示:
一级分类 | 二级分类 | 数据源 | 支持的数据库版本 |
---|
基础数据源 | 基础数据源 | MySQL | 支持的版本 | MySQL_5.1 MySQL_5.5 MySQL_5.5.46 MySQL_5.5.5
MySQL_5.6.22 MySQL_5.6.28 MySQL_5.6.29 MySQL_5.6.31 MySQL_5.6.34 MySQL_5.6.35 MySQL_5.6.37 MySQL_5.7
MySQL_5.7.16 MySQL_6.5 MySQL_8.0 |
|
Oracle | 支持的版本 | oracle 9i oracle_9.2 oracle10.2.0 oracle 11g oracle_11g2 oracle_11.2.0.3 oracle_11.2.0.4 oracle_11.2.3 oracle 12c oracle 10g AIX版本 oracle19c |
|
SQL Server | 支持的版本 | SQL server 2000 SQL server 2005 SQL server 2008 SQL server 2012 SQL server 2014
SQL server 2016 SQL server 2019注:SQL server 2019 支持在4.0.17.1以及之后的FDL版本中使用。 |
|
PostgreSQL | postgresql_9.4.7 9.5.0 |
FineBI 公共数据 | - |
IBM DB2 | 10及以上
|
KingbaseES | KingbaseES V8 |
SAP HANA | V2.0
|
达梦 | 8.1 |
神通数据库 | 7.0 |
Gbase 8s | 8.7 |
进阶数据源 | 大数据
| Greenplum | 5.X 和 6.X |
配置YMatrix数据源
| 5.X |
Doris | 0.14及以上版本 |
TiDB | 5.2.0、5.2.1 |
Impala | impala 2.2 、2.3、2.8、2.9、2.10、2.10 kudu1.5、3.4、4.1、Impala 2.10 kudu1.5 |
TRANSWARP INCEPTOR | V4.6、V4.9.2、V5.2.1、V6.0.2 |
StarRocks | 1.19 及以上 |
Impala
| 支持的版本 | Impala 2.2 Impala 2.3 Impala 2.8 Impala 2.9 Impala 2.10 Impala 3.4 Impala 4.1 Impala 2.10 kudu1.5 |
|
GaussDB 200 | 云上最新版本 |
阿里云MaxCompute | MaxCompute JDBC 驱动版本为 3.2.7 以上 |
ClickHouse | 20.1、22.6 |
PolarDB PostgreSQL | polarDB Oracle2.0 polarDB pg14 |
HP Vertica | V9.3.1
|
5. 库表管理支持的数据源
一级分类
| 二级分类 | 数据源 | 支持的数据库版本 |
---|
基础数据源 | 基础数据源 | MySQL | 支持的版本 | MySQL_5.1 MySQL_5.5 MySQL_5.5.46 MySQL_5.5.5
MySQL_5.6.22 MySQL_5.6.28 MySQL_5.6.29 MySQL_5.6.31 MySQL_5.6.34 MySQL_5.6.35 MySQL_5.6.37 MySQL_5.7
MySQL_5.7.16 MySQL_6.5 MySQL_8.0 |
|
Oracle | 支持的版本 | oracle 9i oracle_9.2 oracle10.2.0 oracle 11g oracle_11g2 oracle_11.2.0.3 oracle_11.2.0.4 oracle_11.2.3 oracle 12c oracle 10g AIX版本 oracle19c |
|
SQL Server | 支持的版本 | SQL server 2000 SQL server 2005 SQL server 2008 SQL server 2012 SQL server 2014
SQL server 2016 SQL server 2019注:SQL server 2019 支持在4.0.17.1以及之后的FDL版本中使用 |
|
PostgreSQL | postgresql_9.4.7 9.5.0; |
openGauss
| 3.0.0及以上版本 |
SAP HANA | V2.0 |
IBM DB2 | 支持的版本 | DB2_7.2 DB2_8.1 DB2_8.2 DB2_9.7 DB2_10.5 |
|
SQLite | - |
HSQL | -
|
Informix | V11.7、V11.5、V12.x |
KingbaseES | KingbaseES V8 |
达梦 | 8.1 |
进阶数据源 | 大数据 | Doris | 0.14及以上版本 |
StarRocks | 1.19 及以上版本 |
Greenplum | 5.X 和 6.X |
配置YMatrix数据源
| 5.X |
Hive | 支持的版本
| hive_1.1 Hadoop_Hive_1.2 hive2.3 hive2.1.2 hive2.1.1 hive3.3.1 |
|
TRANSWARP INCEPTOR | V4.6、V4.9.2、V5.2.1、V6.0.2 |
Impala | 支持的版本
| impala 2.2 impala 2.3 impala 2.8 impala 2.9 impala 2.10
impala 2.10 kudu1.5 Impala 3.4 Impala 4.1 |
|
ClickHouse | 20.1、22.6 |
PolarDB PostgreSQL | polarDB Oracle2.0 polarDB pg14 |
Presto | Presto_0.152 Presto_0.169 |
HP Vertica | V7.2.1-V10.0、 V12.0.3 |
阿里云MaxCompute | MaxCompute JDBC 驱动版本为 3.2.7 以上 |
Gbase 8A | - |
GaussDB 200 | - |
TiDB | V5.2.0 V5.2.1 |
Amazon Redshift | 预置集群版本和Serverless版本 |
SeaboxMPP | 21.0.3.398 |
6. 实时任务支持的数据源
FineDataLink-实时任务支持的数据源类型如下表所示:
一级分类 | 二级分类 | 数据源 | 支持的数据库版本 | 数据读取 | 数据写入 |
---|
基础数据源 | 基础数据源 | MySQL | 支持的版本
| MySQL_5.1 MySQL_5.5 MySQL_5.5.46 MySQL_5.5.5
MySQL_5.6.22 MySQL_5.6.28 MySQL_5.6.29 MySQL_5.6.31 MySQL_5.6.34 MySQL_5.6.35 MySQL_5.6.37 MySQL_5.7
MySQL_5.7.16 MySQL_6.5 MySQL_8.0 |
| √ | √ |
Oracle | 支持的版本
| oracle 9i oracle_9.2 oracle10.2.0 oracle 11g oracle_11g2 oracle_11.2.0.3 oracle_11.2.0.4 oracle_11.2.3 oracle 12c oracle 10g AIX版本 oracle19c |
| √ | √ |
SQL Server | 支持的版本
| SQL server 2000 SQL server 2005 SQL server 2008 SQL server 2012 SQL server 2014
SQL server 2016 SQL server 2019注:SQL server 2019 支持在4.0.17.1以及之后的FDL版本中使用。 |
| √ | √ |
PostgreSQL | postgresql_9.4.7 9.5.0 | √ | √ |
IBM DB2 | 10及以上
| √ |
|
SAP HANA | V2.0
| 开发中 | √ |
达梦 | 8.1 | 开发中 | √ |
进阶数据源 | 大数据
| Greenplum | 5.X 和 6.X | 开发中 | √ |
Doris | 0.14及以上版本 | 开发中 | √ |
TiDB | 5.2.0、5.2.1 | 开发中 | √ |
StarRocks | 1.19 及以上 | 开发中 | √ |
GaussDB 200 | 云上最新版本 | 开发中 | √ |
ClickHouse | 20.1.8.41 | 开发中 | √ |
Amazon Redshift | 支持云上普通版本同时也支持预置集群版本和Serverless版本 | 开发中 | √ |
高阶数据源 | 消息队列 | Kafka |
| √ | √ |
IBM MQ
| IBM MQ V9.4.0.5 (p940-005-240823) | √ | 暂不支持 |
Pulsar | Pulsar
|
| √ | √ |
接口协议(实时) | MQTT
| 2.0.18 | √ | 暂不支持 |