反馈已提交

网络繁忙

配置Doris数据源

  • 文档创建者:Roxy
  • 历史版本:25
  • 最近更新:Wendy123456 于 2024-11-07
  • 1. 概述

    1.1 版本

     FineDataLink 版本功能变更
    4.0.23定时任务输入输出支持 Doris

    管道任务数据输出支持 Doris

    4.1数据服务支持 Doris
    4.1.11.4实时任务支持
    4.1.14.1数据连接支持配置套接字超时(SocketTimeout 设置项中配置),控制数据库查询时间在一个合理范围内,避免出现无限等待的问题

    1.2 应用场景

    FineDataLink 支持连接 Doris,进行定时任务读写管道任务写入作为数据服务数据发布源实时任务写入。

    2. 使用限制

    FineDataLink 支持连接 Doris ,使用限制说明详情参见:Doris数据源使用说明

    3. 准备工作

    3.1 前提条件

    详情请参见:前提条件

    3.2 版本和驱动

    数据库
    数据库版本下载驱动
    Doris0.14及以上版本FineDataLink已内置相关驱动,无需手动下载安装

    3.3 收集连接信息

    在连接数据库之前,请收集以下信息:

    • 数据库所在服务器的 IP 地址和端口号。

    • 数据库的名称。

    • 数据库的用户名和密码。

    3.4 注意事项

    1)在建立数据连接前,请确保 FineDataLink正常访问 Doris 数据库的 FE 和 BE 节点

    2)使用 Doris 作为数据写入端时,请确保 FE 节点可以正常访问 BE 节点。原因:

    在使用 Doris 进行数据写入时,FineDataLink 通过 HTTP 协议的 Stream Load 方法,将本地文本文件或程序文件导入。

    导入命令首先发送至 FE,FE 节点通过 HTTP 重定向将请求转发给 BE 节点,或将导入命令直接提交到指定的 BE 节点。

    导入过程的最终结果由协调器 BE 返回。该方法适用于数据量在 1G 至 10G 之间的场景。

    3)在 Doris 数据连接中,所使用的数据库用户需具备 admin 权限,以确保 FineDataLink 功能的正常运行。

    4. 具体连接步骤

    1)管理员登录 FDL 工程,点击「管理系统>数据连接>数据连接管理」,选中某个文件夹后,新建数据连接。如下图所示:

    3.png

    2)设置数据连接名称(可同时修改数据连接所在目录)。如下图所示:

    1730967677962575.png

    3)可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示:

    27.png

    4)输入 3.3 节准备的数据库信息。如下图所示:

    1730968147380490.png

    部分设置项说明如下表所示:

    设置项
    说明
    FE 节点地址

    如果 Doris 作为数据写入端时使用,则需要配置 FE 节点

    值说明:

    填写 IP 地址或主机名以及端口号

    多个地址以,隔开

    含义:

    作为 Stream Load 的连接目标,格式为 "ip:port"

    其中 IP 是 FE 节点的IP,port 为 FE 节点的 http_port

    例如:192.168.101.71:8030,192.168.101.209:9030

    可以填写多个,系统将以轮询方式进行数据写入

    SocketTimeout4.1.14.1 及之后版本新增1)值说明:

    配置当前数据连接的套接字超时,单位为秒,默认值为 3600

    输入框要求为非负整数,配置为 0 时,视为不设置超时

    2)该设置项应用场景:

    在网络发生抖动时,可能会出现管道&定时任务发出查询后,无限等待返回数据的问题,用户运维时,看不到报错,但实际任务已不再同步数据

    配置该设置项后,将控制查询在一个合理的范围内,达到套接字超时时间后,SQL 语句会自动中断报错,避免出现无限等待的问题

    3)该设置项控制的功能范围:

    • 定时任务:对应数据源读写、SQL脚本执行、参数赋值、全局赋值参数

    • 管道任务:对应数据源读写

    • 数据发布:对应数据源查询

    • 库表管理:SQL执行

    注:如果数据服务并发量较大,建议调大最大活动连接数,防止因数据服务高并发请求导致数据连接失败

    5)点击「测试连接」,提示「连接成功」,说明FineDataLink与该数据库可正常连接。

    5. 使用数据源

    配置好该数据源后,可在以下功能场景中使用,详情请参见:

    功能场景
    操作指导
    定时任务定时任务概述
    数据管道数据管道概述
    数据服务数据服务概述
    实时任务实时任务概述

    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持