反馈已提交

网络繁忙

SelectDB数据源特性说明

  • 文档创建者:Wendy123456
  • 历史版本:16
  • 最近更新:Wendy123456 于 2025-12-19
  • icon提示:
    本文详细说明 SelectDB 据源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情况,帮助用户更好地理解和应用数据源。

    写入 SelectDB 数据库时,目标表表名支持含中文。

    1. 定时任务

    1.1 读取

    「数据同步」、「参数赋值」、「全局赋值参数」、「数据转换-DB表输入」的数据来源支持:SelectDB。

    「SQL脚本」的数据源中新增:SelectDB。

    注:配置方式不支持「存储过程」。

    2.png

    1.2 写入-表类型

    「数据同步」、「数据转换-DB表输出」的数据去向新增:SelectDB。

    1)目标表为自动建表时,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)

    不支持设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 读时合并

    必须设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 写时合并必须设置物理主键

    支持设置 NOT NULL

    聚合模型(Aggregate Key)仅展示,不可选

    2)目标表为已存在表时,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)

    1)写入方式选择「直接将数据写入目标表」时,不支持配置主键映射和主键冲突策

    2)写入方式不支持「基于标识字段,追加/更新/删除数据」

    主键模型(Unique Key)- 写时合并

    写入方式选择直接将数据写入目标表时,主键冲突策略只能选择

    • 主键相同,覆盖目标表的数据

    不支持选择:

    • 主键相同,忽略输入源的数据

    • 主键相同,记录为脏数据

    主键模型(Unique Key)- 读时合并
    聚合模型(Aggregate Key)

    1)写入方式选择直接将数据写入目标表时,不支持配置主键映射以及主键冲突策略

    2)写入方式不支持「基于标识字段,追加/更新/删除数据」

    1.3 写入-分隔符

    4.2.3.1 及之后版本,写入 SelectDB 时,支持设置行列分隔符。如下图所示:

    1750815789629370.png

    SelectDB Enterprise 版本说明
    2.0 及以上支持指定行列分隔符

    注:行分隔符、列分隔符不能相同

    列分隔符说明:

    下拉框支持选项:自动处理、推荐分隔符(\x01)、英文逗号、制表符、英文分号、管道符、ASCII字符

    列分隔符
    说明
    自动处理

    优点:

    若来源端数据包含 FDL 默认的分隔符,会帮用户做转义替换(使用转义符来转义数据中的行列分隔符),确保数据写入成功

    缺点:

    会损失一些写入性能

    推荐分隔符(\x01)

    优点

    大部分场景中,用户数据中不会包含 \x01,避免写入出错的同时,保证性能

    缺点:

    若用户数据中包含 \x01,FDL 不做转义替换,写入将报错

    英文逗号、制表符、英文分号、管道符、ASCII字符若使用推荐分隔符报错,用户根据实际数据,指定分隔符

    行分隔符说明:支持设置CR+LF、LF、ASCII字符作为行分隔符

    2.0 以下
    「2.0及以上版本不同的是,列分隔符中没有自动处理选项

    1.4 写入-数据分批

    4.2.8.4 及之后版本,写入 SelectDB 时,支持设置数据分批条件,只要满足其中任何一个条件,就会立即生成一批数据并执行写入操作。

    说明如下:

    1)自动分批、自定义分批应用场景:

    • 自动分批:一般情况下使用「自动分批」配置即可;

    • 自定义分批:当大批量数据写入或高频次写入引发数据库压力过载问题,可以灵活调整分批写入配置。

    2)各设置项限制:

    • 单条批数限制范围:0~9999999。

    • 单批大小限制范围:0~999。

    • 单批累积时间限制范围:100~1000000。

    支持的功能备注

    定时任务:

    支持自动分批

    支持自定义分批:单条批数、单批大小

    13.png

    若定时任务历史数据量大,没有实时增量数据

    • 提吞吐:配置较大的「单批条数单批大小

    实时任务:

    支持自动分批

    支持自定义分批:单条批数、单批大小、单批累计时间

    1.png

    实时任务中:

    实时管道任务:

    支持自动分批

    支持自定义分批:单条批数、单批大小、单批累计时间

    1.png

    注:若同步类型选择「存量+增量同步」,单批累计时间设置仅对增量阶段的数据生效


    实时管道任务中,若历史数据量大:

    • 全量阶段:按定时任务的优化逻辑

    • 增量阶段:配置合适的「」单批累积时间进行流转批,结合实际数据库性能情况和在用户能接受的写入延迟情况,尽量攒大单批数据量,提升写入效率


    1.5 写入-写入间隔

    4.2.8.4 及之后版本,写入 SelectDB 时,支持设置写入间隔,控制数据的写入频率。如下图所示:

    2.png

    2. 实时管道任务

    1)作为管道写入端时,不支持无主键同步功能。

    2)作为管道写入端,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)此类型不支持自动建表
    主键模型(Unique Key)- 读时合并必须设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 写时合并

    必须设置物理主键

    支持设置 NOT NULL

    聚合模型(Aggregate Key)此类型不支持自动建表

    3)4.2.8.4 及之后版本,实时管道任务写入 SelectDB 时,选择去向中支持设置数据分批、写入间隔。详情参见本文 1.4、1.5 节。

    3. 实时任务

    4.2.8.4 及之后版本,实时任务写入 SelectDB 时,写入方式支持设置数据分批、写入间隔。详情参见本文 1.4、1.5 节。

    4. 数据服务&

    数据服务功能中:

    • 支持作为数据查询 API 的读取端。

    • 支持作为数据接收 API 的写入端。

    详情请参见:数据服务功能概述库表管理血缘分析

    4. 库表管理&血缘分析

    详情请参见:库表管理血缘分析

    5. 数据服务

    5.1 数据查询 API

    支持发布数据查询 API 。

    5.2 数据接收API

    数据接收 API 支持写入该数据库。

    5.2.1 通用 API 请求体

    设置项
    说明
    目标表

    目标表为已存在表时,允许选择的表类型为:

    • 明细模型(Duplicate Key)

    • 主键模型(Unique Key)- 写时合并

    • 主键模型(Unique Key)- 读时合并

    • 聚合模型(Aggregate Key)

    目标表为新建表时,允许选择的表类型为:

    • 明细模型(Duplicate Key)

    • 主键模型(Unique Key)- 写时合并

    • 主键模型(Unique Key)- 读时合并

    主键映射

    1)如果所选目标表为「明细模型聚合模型,不支持配置主键映

    2)如果所选目标表为「主键模型-写时合并主键模型-读时合并,支持配置主键映射:

    • 如果所选表自身有物理主键,则沿用物理主键

    • 如果所选表自身没有物理主键,则标记逻辑主键

    主键冲突策略

    如果所选目标表为「主键模型-写时合并主键模型-读时合并仅支持选择:「覆盖目标表的数据

    1766122908223949.png

    5.2.2 简道云表单推送

    设置项
    说明
    目标表
    允许选择的表类型为:
    • 主键模型(Unique Key)- 写时合并

    • 主键模型(Unique Key)- 读时合并

    6. 通用配置

    附件列表


    主题: 配置数据源
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持