反馈已提交

网络繁忙

SelectDB数据源特性说明

  • 文档创建者:Wendy123456
  • 历史版本:11
  • 最近更新:Naya 于 2025-07-28
  • icon提示:
    本文详细说明 SelectDB 据源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情况,帮助用户更好地理解和应用数据源。

    写入 SelectDB 数据库时,目标表表名支持含中文。

    1. 定时任务

    1.1 读取

    「数据同步」、「参数赋值」、「全局赋值参数」、「数据转换-DB表输入」的数据来源支持:SelectDB。

    「SQL脚本」的数据源中新增:SelectDB。

    注:配置方式不支持「存储过程」。

    2.png

    1.2 写入-表类型

    「数据同步」、「数据转换-DB表输出」的数据去向新增:SelectDB。

    1)目标表为自动建表时,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)

    不支持设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 读时合并

    必须设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 写时合并必须设置物理主键

    支持设置 NOT NULL

    聚合模型(Aggregate Key)仅展示,不可选

    2)目标表为已存在表时,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)

    1)写入方式选择「直接将数据写入目标表」时,不支持配置主键映射和主键冲突策

    2)写入方式不支持「基于标识字段,追加/更新/删除数据」

    主键模型(Unique Key)- 写时合并

    写入方式选择直接将数据写入目标表时,主键冲突策略只能选择

    • 主键相同,覆盖目标表的数据

    不支持选择:

    • 主键相同,忽略输入源的数据

    • 主键相同,记录为脏数据

    主键模型(Unique Key)- 读时合并
    聚合模型(Aggregate Key)

    1)写入方式选择直接将数据写入目标表时,不支持配置主键映射以及主键冲突策略

    2)写入方式不支持「基于标识字段,追加/更新/删除数据」

    1.3 写入-分隔符

    4.2.3.1 及之后版本,写入 SelectDB 时,支持设置行列分隔符。如下图所示:

    1750815789629370.png

    SelectDB Enterprise 版本说明
    2.0 及以上支持指定行列分隔符

    注:行分隔符、列分隔符不能相同

    列分隔符说明:

    下拉框支持选项:自动处理、推荐分隔符(\x01)、英文逗号、制表符、英文分号、管道符、ASCII字符

    列分隔符
    说明
    自动处理

    优点:

    若来源端数据包含 FDL 默认的分隔符,会帮用户做转义替换(使用转义符来转义数据中的行列分隔符),确保数据写入成功

    缺点:

    会损失一些写入性能

    推荐分隔符(\x01)

    优点

    大部分场景中,用户数据中不会包含 \x01,避免写入出错的同时,保证性能

    缺点:

    若用户数据中包含 \x01,FDL 不做转义替换,写入将报错

    英文逗号、制表符、英文分号、管道符、ASCII字符若使用推荐分隔符报错,用户根据实际数据,指定分隔符

    行分隔符说明:支持设置CR+LF、LF、ASCII字符作为行分隔符

    2.0 以下
    「2.0及以上版本不同的是,列分隔符中没有自动处理选项

    1.4 写入-数据分批

    4.2.8.4 及之后版本,写入 SelectDB 时,支持设置数据分批条件,只要满足其中任何一个条件,就会立即生成一批数据并执行写入操作。

    • 自动分批:一般情况下使用「自动分批」配置即可;

    • 自定义分批:当大批量数据写入或高频次写入引发数据库压力过载问题,可以灵活调整分批写入配置。

    任务类型
    支持的功能限制说明
    定时任务

    支持自动分批

    支持自定义分批:单条批数、单批大小

    13.png

    单条批数限制范围:0~9999999
    单批大小限制范围:0~999
    单批累积时间限制范围:100~1000000
    实时任务

    支持自动分批

    支持自定义分批:单条批数、单批大小、单批累计时间

    1.png

    实时管道任务

    支持自动分批

    支持自定义分批:单条批数、单批大小、单批累计时间

    1.png

    注:若同步类型选择「存量+增量同步」,单批累计时间设置仅对增量阶段的数据生效

    1.5 写入-写入间隔

    4.2.8.4 及之后版本,写入 SelectDB 时,支持设置写入间隔,控制数据的写入频率。如下图所示:

    2.png

    2. 实时管道任务

    1)作为管道写入端时,不支持无主键同步功能。

    2)作为管道写入端,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)此类型不支持自动建表
    主键模型(Unique Key)- 读时合并必须设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 写时合并

    必须设置物理主键

    支持设置 NOT NULL

    聚合模型(Aggregate Key)此类型不支持自动建表

    3)4.2.8.4 及之后版本,实时管道任务写入 SelectDB 时,选择去向中支持设置数据分批、写入间隔。详情参见本文 1.4、1.5 节。

    3. 实时任务

    4.2.8.4 及之后版本,实时任务写入 SelectDB 时,写入方式支持设置数据分批、写入间隔。详情参见本文 1.4、1.5 节。

    4. 数据服务&库表管理&血缘分析

    5. 通用配置

    附件列表


    主题: 配置数据源
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持