反馈已提交

网络繁忙

数据同步-数据来源

  • 文档创建者:Roxy
  • 历史版本:9
  • 最近更新:Roxy 于 2024-04-28
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.1.5.4

    数据来源 Tab 中,配置方式选择选表时,显示表备

    1.2 功能简介

    本文介绍「数据同步」设置数据来源或者使用「数据转换-DB表输入」时配置项说明。

    「数据同步-数据来源」Tab 界面如下图所示:

    若发现取出的数据需要进行一些复杂的操作,例如行列转换数据关联JSON解析等数据处理和转换,则可以使用「生成数据转换」功能。

    2. 数据源

    FineDataLink支持的数据源 文档的第三章内容(支持数据读取的数据库)。

    只展示已配置过数据连接且当前用户有数据连接使用权限的选项。

    3. 配置方式

    「数据源」中选择DB表输入类型时,有配置方式设置项,配置方式设置项中可选择SQL、选表、存储过程。

    3.1 SQL

    通过 SQL 语句从源数据库的表中查询取数,且支持引用参数,参数的具体介绍请参见:参数概述

    用户可选择指定的数据库,并在该数据库下搜索需要的数据表,然后写入右侧 SQL 输入框,如下图所示:

    注:若选择的数据连接对应有使用权限的数据库有多个,则数据库语法使用表名格式需要为:库.表名。

    3.2 选表

    页面如下图所示:

    8.png

    支持「选表」功能的算子/节点:DB表输入、数据同步、参数赋值中,数据源类型选择「DB表输入」类型。

    3.2.1 来源表

    选择来源表,不能为空。

    3.2.2 表描述

    DB表输入、数据同步、参数赋值中,数据源类型选择「DB表输入」类型,配置方式选择选表」时显示表备注。若目标表选择自动建表,目标表的表备注默认为来源表的表备注。

    需注意:

    • 不支持该功能的数据库:ClickHouse、Hive、Impala、TRANSWARP INCEPTOR、Informix、MaxCompute、SQLite、StarRocks。

    • 更多说明可参见:数据同步-数据去向与映射

    3.2.3 数据过滤

    • 可为空

    • 可过滤来源表的数据,内容为:使用所选数据库的语法编写 WHERE 条件语句(无需填写 WHERE 关键字)

    • 支持引用各类参数

    • 支持联动参数值;支持联动数据表中字段

    • 不支持写 limit 语句

    3.2.4 并行取数

    在数据量很大时,开启并行取数」,可提高读取数据的速度。

    开启并行取数后,写入方式选择追加写入数据且设置逻辑主键,可能导致数据重复。

    设置项
    说明
    并行取数开关

    默认关闭

    同时满足以下三条才生效:

    • 数据来源:目前只支持 MySQL、Oracle、SQL Server、vertica 的并行取数

    • 数据去向:JDBC 类数据库

    • 生效算子/节点:数据同步节点、数据转换中只有DB表输入算子、DB表输出算子

    切分键
    • 通过下拉单选框选择表中的字段,会按照切分键字段进行数据分片,推荐使用主键字

    • 切分键的字段类型需要为数值类型

    • 切分键不能为空

    读取并发数不能为空,用户可修改读取并发

    实际执行时,并发数不会超过 CPU 核数

    并发数只代表并发执行的线程数,不代表实际切分的任务数;所以 日志统计Tab下 ,可能会出现并发数为 2 ,实际切分的任务数为 3 的情况

    3.3 存储过程

    详情请参见:定时任务调用数据库存储过程



    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持