1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.5.4 | 数据来源 Tab 中,配置方式选择「选表」时,显示表备注 |
1.2 功能简介
本文介绍「数据同步」设置数据来源或者使用「数据转换-DB表输入」时配置项说明。
「数据同步-数据来源」Tab 界面如下图所示:
若发现取出的数据需要进行一些复杂的操作,例如行列转换、数据关联、JSON解析等数据处理和转换,则可以使用「生成数据转换」功能。
2. 数据源
FineDataLink支持的数据源 文档的第三章内容(支持数据读取的数据库)。
只展示已配置过数据连接且当前用户有数据连接使用权限的选项。
3. 配置方式
「数据源」中选择DB表输入类型时,有「配置方式」设置项,「配置方式」设置项中可选择SQL、选表、存储过程。
3.1 SQL
通过 SQL 语句从源数据库的表中查询取数,且支持引用参数,参数的具体介绍请参见:参数概述
用户可选择指定的数据库,并在该数据库下搜索需要的数据表,然后写入右侧 SQL 输入框,如下图所示:
注:若选择的数据连接对应有使用权限的数据库有多个,则数据库语法使用表名格式需要为:库.表名。
3.2 选表
页面如下图所示:
支持「选表」功能的算子/节点:DB表输入、数据同步、参数赋值中,数据源类型选择「DB表输入」类型。
3.2.1 来源表
选择来源表,不能为空。
3.2.2 表描述
DB表输入、数据同步、参数赋值中,数据源类型选择「DB表输入」类型,配置方式选择「选表」时,显示表备注。若目标表选择自动建表,目标表的表备注默认为来源表的表备注。
需注意:
不支持该功能的数据库:ClickHouse、Hive、Impala、TRANSWARP INCEPTOR、Informix、MaxCompute、SQLite、StarRocks。
更多说明可参见:数据同步-数据去向与映射
3.2.3 数据过滤
可为空
可过滤来源表的数据,内容为:使用所选数据库的语法编写 WHERE 条件语句(无需填写 WHERE 关键字)
支持引用各类参数
支持联动参数值;支持联动数据表中字段
不支持写 limit 语句
3.2.4 并行取数
在数据量很大时,开启「并行取数」,可提高读取数据的速度。
开启并行取数后,写入方式选择追加写入数据且设置逻辑主键,可能导致数据重复。
设置项 | 说明 |
---|---|
并行取数开关 | 默认关闭 同时满足以下三条才生效:
|
切分键 |
|
读取并发数 | 不能为空,用户可修改读取并发数 实际执行时,并发数不会超过 CPU 核数 并发数只代表并发执行的线程数,不代表实际切分的任务数;所以 日志统计Tab下 ,可能会出现并发数为 2 ,实际切分的任务数为 3 的情况 |
3.3 存储过程
详情请参见:定时任务调用数据库存储过程