配置SelectDB数据源

  • 产品级协助
  • 文档创建者:Wendy123456
  • 历史版本:6
  • 最近更新:Wendy123456 于 2025-03-07
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能变动
    4.2.2.1

    支持 SelectDB 数据源,适配 FDL 功能:

    • 定时任务读取和写入

    • 管道任务写入

    • 数据服务

    • 库表管理/血缘分析

    4.2.3.1
    数据开发-定时任务中写入 SelectDB 时,支持设置行列分隔符

    1.2 功能简介

    FineDataLink 支持连接 SelectDB 数据源,适配模块:

    • 定时任务读取和写入。

    • 管道任务写入。

    • 数据服务。

    • 库表管理/血缘分析。

    2. 新建数据连接

    2.1 前提条件

    详情请参见:前提条件

    2.2 版本和驱动

    支持的数据库版本
    驱动
    SelectDB Enterprise 2.1.6已内置

    2.3 创建数据连接

    创建数据连接步骤请参见:创建并管理数据源

    部分设置项说明:

    6.png

    部分设置项说明如下表所示:

    设置项
    说明
    FE节点地址

    若需要写入该数据库,需要配置 FE 节点地址

    格式为ip:port。其中 IP 是 FE 节点 IP,port 是 FE 节点的 http_port

    可以填写多个,多个地址以“,”隔开,填写多个时数据将以轮询的方式写入;填写多个 FE 节点地址时,将选取第一个可用的 FE 节点进行连接

    3. 使用数据源

    写入 SelectDB 数据库时,目标表表名支持含中文。

    3.1 数据开发-定时任务

    3.1.1 读取

    「数据同步」、「参数赋值」、「全局赋值参数」、「数据转换-DB表输入」的数据来源新增:SelectDB。

    「SQL脚本」的数据源中新增:SelectDB。

    注:配置方式不支持「存储过程」。

    43.png

    3.1.2 写入

    「数据同步」、「数据转换-DB表输出」的数据去向新增:SelectDB。

    3.1.3 表类型说明

    1)目标表为自动建表时,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)

    不支持设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 读时合并

    必须设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 写时合并必须设置物理主键

    支持设置 NOT NULL

    聚合模型(Aggregate Key)仅展示,不可选

    2)目标表为已存在表时,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)

    1)写入方式选择「直接将数据写入目标表」时,不支持配置主键映射和主键冲突策

    2)写入方式不支持「基于标识字段,追加/更新/删除数据」

    主键模型(Unique Key)- 写时合并

    写入方式选择直接将数据写入目标表时,主键冲突策略只能选择

    • 主键相同,覆盖目标表的数据

    不支持选择:

    • 主键相同,忽略输入源的数据

    • 主键相同,记录为脏数据

    主键模型(Unique Key)- 读时合并
    聚合模型(Aggregate Key)

    1)写入方式选择直接将数据写入目标表时,不支持配置主键映射以及主键冲突策略

    2)写入方式不支持「基于标识字段,追加/更新/删除数据」

    3.1.4 分隔符说明

    4.2.3.1 及之后版本,写入 SelectDB 时,支持设置行列分隔符。如下图所示:

    1740040530840504.png

    SelectDB Enterprise 版本说明
    2.0 及以上支持指定行列分隔符

    注:行分隔符、列分隔符不能相同

    列分隔符说明:

    下拉框支持选项:自动处理、推荐分隔符(\x01)、英文逗号、制表符、英文分号、管道符、ASCII字符

    列分隔符
    说明
    自动处理

    优点:

    若来源端数据包含 FDL 默认的分隔符,会帮用户做转义替换(使用转义符来转义数据中的行列分隔符),确保数据写入成功

    缺点:

    会损失一些写入性能

    推荐分隔符(\x01)

    优点

    大部分场景中,用户数据中不会包含 \x01,避免写入出错的同时,保证性能

    缺点:

    若用户数据中包含 \x01,FDL 不做转义替换,写入将报错

    英文逗号、制表符、英文分号、管道符、ASCII字符若使用推荐分隔符报错,用户根据实际数据,指定分隔符

    行分隔符说明:支持设置CR+LF、LF、ASCII字符作为行分隔符

    2.0 以下
    「2.0及以上版本不同的是,列分隔符中没有自动处理选项

    3.2 数据管道

    1)作为管道写入端时,不支持无主键同步功能。

    2)作为管道写入端,表类型说明:

    表类型
    逻辑说明
    明细模型(Duplicate Key)此类型不支持自动建表
    主键模型(Unique Key)- 读时合并必须设置物理主键

    支持设置 NOT NULL

    主键模型(Unique Key)- 写时合并

    必须设置物理主键

    支持设置 NOT NULL

    聚合模型(Aggregate Key)此类型不支持自动建表

    3.3 数据服务&库表管理&血缘分析

    详情请参见:数据服务概述库表管理血缘分析

    3.4 通用配置

    支持 通用配置-自动建表配置通用配置-字段映射规则



    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    9s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持

    反馈已提交

    网络繁忙