反馈已提交

网络繁忙

配置SeaboxMPP数据源

  • 文档创建者:Wendy123456
  • 历史版本:23
  • 最近更新:Naya 于 2026-09-18
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能变动
    4.0.28实时管道任务中支持写入至 SeaboxMPP 数据库
    4.1.5.5定时任务中支持读取和写入 SeaboxMPP 数据库
    4.2.22.3&5.0.15.3SeaboxMPP 作为写入端数据源时,支持并行装载

    1.2 功能简介

    FineDataLink 支持连接 SeaboxMPP ,适配:实时管道任务写入、定时任务读写。

    2. 配置须知

    定时任务中,若用户需要使用 SeaboxMPP 作为写入端数据源时,支持三种装载方式:并行装载、COPY 装载、普通装载。三种装载方式区别参见本文第 4 节。

    2.1 并行装载方式赋权

    使用 SeaboxMPP 作为目标表时,若使用并行装载模式,则需要进行权限指定。

    1)scfs_temp 模式下的建表和已有表的读取权限。

    注:若不想设置已有表的读取权限,也可以将该模式下 ext_scfs_* 和 staging_scfs_* 表删除,需要先将使用并行装载的任务关停,移除后只需要有 scfs_temp 模式下建表权限即可。

    GRANT USAGE,CREATE ON SCHEMA scfs_temp TO trans_user ;

    2)建立外部表的权限。

    alter role trans_user with createexttable;

    3)目标表的读取权限,如果要自动建表的话还需要对应库的建表权限。

    ALTER DEFAULT PRIVILEGES IN SCHEMA scfs_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;

    2.2确认数据库数据类型

    并行装载方式不可同步二进制类型字段,如果选择了此类字段进行装载,则在装载时报错(直接抛出数据库装载时报错),二进制字段只能通过 JDBC 方式进行装载,也就是使用本文第三章中的数据连接。

    2.3 放置 scfs 文件

    scfs 官方默认端口为 8080,若与 FDL 端口冲突,请联系技术支持协助。

    从 SeaboxMPP 安装介质中获取 scfs 文件及相关依赖:

    • scfs 文件存放位置:%FineDataLink%\webapps\webroot\WEB-INF\assist

    • 相关依赖存放位置:%FineDataLink%\webapps\webroot\WEB-INF\assist\lib

    3. 配置数据连接

    3.1 前提条件

    详情请参见:前提条件

    3.2 版本和驱动

    下载驱动,并将其上传至 FineDataLink ,如何上传可参见:驱动管理 

    支持的数据库版本
    驱动下载

    SeaboxMPP 21.0.3.398

    postgresql-42.1.4.jar

    3.3 收集连接信息

    在连接数据库之前,请收集以下信息:

    • 数据库所在服务器的 IP 地址和端口号。

    • 数据库的用户名和密码。

    3.4 具体连接步骤

    创建数据连接步骤请参见:创建并管理数据源

    需注意:

    配置数据连接时,驱动需要切换为「自定义」,换为本文 2.2 节的驱动。

    55.png

    若需要使用并行装载方式写入 SeaboxMPP,需要配置「并行装载设置」项。如下图所示:

    2.png

    配置项说明
    服务器地址-节点1scfs 文件服务地址,配置能被 SeaboxMPP 执行节点(executor)访问到的 FDL 工程 IP

    当数据平台所在环境为集群环境时,展示多个配置项可供选择

    复用临时表是否复用临时表(复用临时表在高频装载时,可有效降低系统表膨胀速度)

    勾选后,实际运行时,将自动尝试新建专用临时模式「scfs_temp」并使用

    临时文件条数限制

    默认值:100000;范围:10000~100000000;必填

    落盘的临时文件条数;配置值可根据用户环境的磁盘大小、网络速率调整

    临时文件大小限制(MB)默认值:1024;范围:10~102400;必填

    落盘的文件大小限制;满足条数与文件大小任一限制时,停止数据文件写入操作,立即进行文件装载

    4. 数据源特性说明

    4.1 实时管道任务

    4.0.28 及之后版本,实时管道任务中支持写入至 SeaboxMPP 数据库。实时管道任务配置请参见:实时管道任务概述

    写入 SeaboxMPP 时,装载方式支持 COPY 装载。4.2.22.3 及之后版本,支持「并行装载」方式。

    6.png

    4.2 数据开发-定时任务

    4.1.5.5 及之后版本,定时任务中支持读取和写入 SeaboxMPP 数据库。

    写入 SeaboxMPP 时,装载方式可选择 COPY 装载和普通装载。4.2.22.3 及之后版本,支持「并行装载」方式。

    3.png

    装载方式说明
    并行装载

    1)配置数据连接时需按照配置「并行装载设置」,详情参见本文第 2、3 节

    2)二进制类型字段不支持在选择「并行装载」的时候同步

    3)主键冲突策略可选择:「主键相同,忽略输入源的数据」、「主键相同,记录为脏数据」、「主键相同,覆盖目标表的数据」

    4)写入方式支持:「直接将数据写入目标表」、「清空目标表,再写入数据」、「基于标识字段,追加/更新/删除数据」

    普通装载

    默认为普通装载

    以 JDBC 做串行装载

    COPY装载

    使用前提:

    如选择 COPY 装载方式,需要确保目标数据库和用户满足以下条件:

    • 需要在目标数据库先创建 fdl_temp 模式用来存放临时表

    • 需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建 schema 的权限)

    运行原理:

    选择 COPY 装载方式时,根据写入方式的不同,会出现不同的装载效果

    写入方式说明

    直接将数据写入目标表

    目标表无主键且未配置「主键映射」

    使用 COPY 装载方式

    直接将数据写入目标表

    目标表有主键或配置了「主键映射」

    支持三种主键冲突策略:

    • 主键相同,忽略输入源的数据

    • 主键相同,记录为脏数据

    • 主键相同,覆盖目标表的数据

    采用COPY装载方式+普通装载方式

    • 每批数据优先尝试使用「COPY装载方式」写入

    • COPY 装载方式失败后,会再尝试将该批数据使用「普通装载」写入,写入异常将统计进入脏数据;当前这一批数据写完后,下一批继续优先尝试使用 COPY 进行装载

    清空目标表,再写入数据

    采用COPY装载方式+普通装载方式

    • 每批数据优先尝试使用「COPY装载方式」写入

    • COPY 装载方式失败后,会再尝试将该批数据使用「普通装载」写入,写入异常将统计进入脏数据;当前这一批数据写完后,下一批继续优先尝试使用 COPY 进行装载

    基于标识字段,追加/更新/删除数据




    附件列表


    主题: 配置数据源
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    文
    档
    AI
    助
    手
    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问 或 前往服务平台 获取技术支持