反馈已提交

网络繁忙

配置SeaboxMPP数据源

  • 文档创建者:Wendy123456
  • 历史版本:15
  • 最近更新:yzm164890 于 2024-11-19
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能变动
    4.0.28数据管道任务中支持写入至 SeaboxMPP 数据库
    4.1.5.5定时任务中支持读取和写入 SeaboxMPP 数据库

    1.2 功能简介

    FineDataLink 支持连接 SeaboxMPP ,进行管道任务写入、定时任务读写。

    2. 准备工作

    2.1 前提条件

    详情请参见:前提条件

    2.2 版本和驱动

    下载驱动,并将其上传至 FineDataLink ,如何上传可参见:驱动管理 第 2 节。

    支持的数据库版本
    驱动下载

    SeaboxMPP 21.0.3.398

    postgresql-42.1.4.jar

    2.3 收集连接信息

    在连接数据库之前,请收集以下信息:

    • 数据库所在服务器的 IP 地址和端口号。

    • 数据库的用户名和密码。

    3. 具体连接步骤

    1)以管理员身份登录 FineDataLink ,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

    2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

    3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

    4)进入数据连接配置页面,输入 2.3 节连接的相关信息,如下图所示:

    注:用户可修改连接池设置,详细请参见 连接池设置

    5)点击「测试连接」,若连接成功则「保存」该连接。如下图所示:

    4. 使用数据源

    4.1 管道任务

    4.0.28 及之后版本,数据管道任务中支持写入至 SeaboxMPP 数据库。管道任务配置请参见:数据管道概述

    4.2 定时任务

    4.1.5.5 及之后版本,定时任务中支持读取和写入 SeaboxMPP 数据库。

    写入 SeaboxMPP 数据库时,装载方式可选择 COPY 装载和普通装载。如下图所示:

    1709171684185438.png

    装载方式说明
    普通装载

    默认为普通装

    以 JDBC 做串行装载

    COPY装载

    使用前提:

    如选择 COPY 装载方式,需要确保目标数据库和用户满足以下条件:

    • 需要在目标数据库先创建 fdl_temp 模式用来存放临时表

    • 需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建schema的权限

    运行原理:

    选择 COPY 装载方式时,根据写入方式的不同,会出现不同的装载效果

    写入方式说明

    直接将数据写入目标表

    目标表无主键且未配置「主键映射」

    使用 COPY 装载方式

    直接将数据写入目标表

    目标表有主键或配置了「主键映射」

    支持三种主键冲突策略:

    • 主键相同,忽略输入源的数据

    • 主键相同,记录为脏数据

    • 主键相同,覆盖目标表的数据

    采用COPY装载方式+普通装载方式

    • 每批数据优先尝试使用「COPY装载方式」写入

    • COPY 装载方式失败后,会再尝试将该批数据使用「普通装载」写入,写入异常将统计进入脏数据;当前这一批数据写完后,下一批继续优先尝试使用 COPY 进行装载

    清空目标表,再写入数据

    采用COPY装载方式+普通装载方

    • 每批数据优先尝试使用「COPY装载方式」写入

    • COPY 装载方式失败后,会再尝试将该批数据使用「普通装载」写入,写入异常将统计进入脏数据;当前这一批数据写完后,下一批继续优先尝试使用 COPY 进行装载

    基于标识字段,追加/更新/删除数据




    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持