反馈已提交

网络繁忙

配置YMatrix数据源

  • 文档创建者:Roxy
  • 历史版本:5
  • 最近更新:Wendy123456 于 2024-11-07
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能变动
    4.1.11.2

    定时任务支持读取和写入 YMatrix 数据

    管道任务支持写入 YMatrix 数据

    数据服务支持读取 YMatrix 数据

    库表管理模块支持 YMatrix 数据

    4.1.14.1数据连接支持配置套接字超时(SocketTimeout 设置项中配置),控制数据库查询时间在一个合理范围内,避免出现无限等待的问题

    1.2 功能简介

    FineDataLink 支持连接 YMatrix 数据库,进行定时任务读写管道任务写入,以及作为数据服务数据发布源

    2. 配置需知

    注:需要注册相关功能点才能使用该数据源,详情请参见:功能点限制

    2.1 管道任务

    数据管道使用 YMatrix 作为目标表时,都是用的 COPY 装载模式。

    在使用并行装载数据源前,需要赋予数据连接对应用户指定权限。

    1)可以赋予数据连接账号在对应数据库创建模式的权限。

    2)在目标数据库先创建 fdl_temp 模式用来存放临时表,然后赋予普通用户这个模式的建表权限即可。

    示例命令如下:

    GRANT USAGE,CREATE ON SCHEMA fdl_temp TO trans_user ;
    ALTER DEFAULT PRIVILEGES IN SCHEMA fdl_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;
    GRANT USAGE,CREATE ON SCHEMA fdl_temp TO trans_user ;

    2.2 定时任务

    若用户需要使用 YMatrix 作为写入端数据源时,支持三种装载方式:并行装载、COPY装载、普通装载。三种装载方式区别如下表所示:

    装载方式
    区别
    普通装载

    1)向 YMatrix  写入数据时,不建议选择该方式

    2)若只从 YMatrix 读取数据,建议按照本文第四章步骤配置数据连接

    并行装载

    1)支持写入 JSON 类型字段,但仍不支持写入二进制字段

    2)并行装载在大数据量、大规模集群场景下性能优于 COPY

    3)配置数据连接时需按照本文第三章步骤操作,配置并行装载设置

    注:若选择并行装载方式,需要进行权限指定。

    COPY装载

    1)支持写入二进制字段、JSON 字段

    2)配置数据连接时,参考本文第四章即可,不用配置并行装载设置

    若选择 COPY 装载方式,需要在目标数据库先创建 fdl_temp 模式用来存放临时表,需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建schema的权限)

    2.2.1 并行装载方式赋权

    使用 YMatrix 作为目标表时,若使用并行装载模式,则需要进行权限指定。

    1)gpfdist_temp 模式下的建表和已有表的读取权限。

    注:若不想设置已有表的读取权限,也可以将该模式下 ext_gpload_* 和 staging_gpload_* 表删除,需要先将使用并行装载的任务关停,移除后只需要有 gpfdist_temp 模式下建表权限即可。

    GRANT USAGE,CREATE ON SCHEMA gpfdist_temp TO trans_user ;

    2)建立外部表的权限。

    alter role trans_user with createexttable;

    3)目标表的读取权限,如果要自动建表的话还需要对应库的建表权限。

    ALTER DEFAULT PRIVILEGES IN SCHEMA gpfdist_temp GRANT SELECT, INSERT, UPDATE, DELETE, REFERENCES, TRIGGER ON TABLES TO trans_user ;

    2.2.2  COPY 装载方式赋权

    详情参见本文 2.1 节。

    2.3 数据服务

    数据服务支持 YMatrix 数据库,但需要配置「并行装载设置」项。数据服务请参见:数据服务概述

    3. 配置并行装载设置

    3.1 前提条件

    详情请参见:前提条件

    3.2 版本和驱动

    下载驱动包,并将其上传至 FineDataLink 中,如何上传详情可参见:驱动管理

    支持的数据库版本
    驱动
    5.XPostgreSQL驱动,请下载最新版

    3.3 连接步骤

    1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

    3.png

    2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

    1730970433994645.png

    3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

    36.png

    4)输入连接信息。驱动选择「自定义」,并勾选 3.2 节上传的驱动。

    模式需要连接数据库后才可以选择,所以需要先点击「点击连接数据库」后,再选择「模式」。如下图所示:

    注1:在未配置库和模式时,会读取到默认的库和模式;用户需要在配置数据连接时指定库和模式。

    注2:若有管道任务使用了 YMatrix 数据连接,后续变动数据连接用户名的话,需要为新的数据连接用户赋予 fdl_temp 模式和内部表的权限。

    1730970558213502.png

    若需要向 YMatrix 数据库写入数据,需要配置「并行装载设置」项。如下图所示:

    2.png

    「并行装载设置」说明如下表所示:

    设置项
    说明
    服务器地址-节点1必填;输入 gpfdist 服务地址,要求配置 FDL 所在服务器上能被 SEG 访问到的 IP 

    当数据平台所在环境为集群环境时,展示多个配置项,配置项均为可输入下拉框,配置名为:服务器地址-节点X

    复用临时表是否复用临时表(复用临时表在高频装载时,可有效降低系统表膨胀速度)

    勾选后,实际运行时,将自动尝试新建「gpfdist_temp」模式并使用

    临时文件条数限制默认值:100000;范围:10000~100000000;必填

    落盘的临时文件条数;配置值可根据用户环境的磁盘大小、网络速率调整

    临时文件大小限制(MB)默认值:1024;范围:10~102400;必填

    落盘的文件大小限制;满足条数与文件大小任一限制时,停止数据文件写入操作,立即进行文件装载

    4.1.14.1 及之后版本,新增 SocketTimeout 设置项。如下图所示:

    1730970653377218.png

    该设置项应用场景:

    在网络发生抖动时,可能会出现管道&定时任务发出查询后,无限等待返回数据的问题,用户运维时,看不到报错,但实际任务已不再同步数据。

    配置该设置项后,将控制查询在一个合理的范围内,达到套接字超时时间后,SQL 语句会自动中断报错,避免出现无限等待的问题。

    值说明:

    • 配置当前数据连接的套接字超时,单位为秒,默认值为 3600。

    • 输入框要求为非负整数,配置为 0 时,视为不设置超时。

    该设置项控制的功能范围:

    • 定时任务:对应数据源读写、SQL脚本执行、参数赋值、全局赋值参数。

    • 管道任务:对应数据源读写。

    • 数据发布:对应数据源查询。

    • 库表管理:SQL执行。

    5)点击「测试连接」,连接成功即可保存。

    4. 不配置并行装载设置

    使用场景:请仔细查看本文第二章内容。

    建立数据连接步骤:与本文第三章不同的是,无需配置「并行装载设置」项。

    5. 使用数据源

    数据源在 FineDataLink 中的使用说明,详情请参见:YMatrix数据源使用说明

    • 定时任务支持读取和写入 YMatrix 数据库。定时任务开发请参见:数据开发概述

    • 数据管道任务中支持写入至 YMatrix 数据库。管道任务配置请参见:数据管道概述

    • 数据服务支持 YMatrix 数据库。数据服务请参见:数据服务概述


    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持