反馈已提交

网络繁忙

创建并管理数据源

  • 文档创建者:Roxy
  • 历史版本:21
  • 最近更新:Wendy123456 于 2024-09-25
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.21
    • FineDataLink 独立部署版本, 「管理系统>数据连接>数据连接管理」处,屏蔽不支持的数据源类型

    • 数据连接名称支持特殊字符` ~ ! @ # $ % ^ & * ( ) _ - + = { } [ ] | \ : " ; ' < > , . ? /

    4.1.3增加 fetchsize 参数配置
    4.1.5.1
    新增设置项:空闲连接强制回收阈值、空闲连接可用性定期检查时间阈值
    4.1.12.3
    • 数据连接可放到文件夹中进行管理

    • 支持通过数据连接名称、数据源类型、创建人搜索已配置好的数据连接

    • 新建数据连接时,数据源分类优化,可通过数据源分类、支持形式、适配模块筛选数据源类型

    1.2 应用场景

    FineDataLink 的数据开发、数据管道、数据服务、数据管理模块支持连接多种数据源进行数据的处理操作。

    在使用 FineDataLink 处理、同步数据前,您需要先定义数据连接,以便在执行数据处理操作时,通过「数据库>数据连接名称>数据表」,来确定数据的读取和写入位置。

    1.3 功能简介

    本文讲解如何在 FDL 中配置数据连接和管理数据连接。

    2. 新建数据连接

    2.1 前提条件

    详情请参见:前提条件

    2.2 步骤说明

    1)管理员进入 FDL 工程,点击「管理系统>数据连接管理」,在某文件夹中新建数据连接。如下图所示:

    40.png

    点击新建按钮可新建文件夹。如下图所示:

    注:文件夹名称不可为空,不可重名,不能超过 60 个字符;只可创建一级文件夹。

    53.png

    2)输入数据连接名称后,选择数据库类型,点击「下一步」按钮。

    可通过搜索数据库名称来快速选择数据库类型;也可通过数据源分类、支持形式、适配模块来筛选数据库类型。

    注:所有文件夹下的数据连接名称,均不能重名。

    41.png

    鼠标悬浮在数据名称右侧的问号标识上,可显示该数据源适配的模块。如下图所示:

    42.png

    3)输入数据库的相关信息。如下图所示:

    43.png

    以下为数据连接信息的详细解释,不同数据库要设置的连接信息不同。

    每个数据库的数据连接设置项请在 FDL 帮助文档中搜索查看(示例:配置Oracle数据源)。

    配置
    介绍
    数据连接名称给这个数据连接一个名称,按用户自己的习惯起名即可
    驱动

    连接数据库所需要的驱动:

    • 默认:一小部分数据库中内置了数据库驱动,使用默认即可

    • 自定义:FineDataLink 中未内置驱动,需要用户自定义驱动,详细操作请参见:驱动管理

    数据库名称输入要连接的数据库的名字
    主机输入数据库所在主机(或服务器)的 IP
    端口输入数据库所在主机(或服务器)的端口
    认证方式

    若数据库支持多种认证方式,则点击会出现认证方式下拉框:

    • 用户名密码:输入数据库的用户名和密码

    • Kerberos认证:填入注册过 kdc 的客户端名称和 keytab 密钥路径,详情请参见:[平台]数据连接Kerberos认证

    编码推荐使用默认
    模式
    • 部分数据库需要选择模式,需要先连接成功后才能选择模式

    • 当数据库不存在模式选择,则无需进行模式选择

    • 如果这些数据库未进行模式选择,则默认选择的是第一个模式

    • 连接多模式的数据库时使用 SQL 语句需要带上模式名前缀进行搜索

    注:需要正确选择数据库对应的模式,否则会导致添加数据库表时显示「当前数据连接中无可用表」,只能通过 SQL 数据集进行取数

    数据连接URL自动生成的 URL ,无需特意配置

    点击「测试连接」,即可测试是否可以连接成功。

    44.png

    若用户不需要设置连接池,即可点击「保存」。完成数据连接配置。

    2.3 连接池设置

    在连接数据库时,可能需要进行一些高级设置,但大部分情况下是不需要设置的。

    我们可以根据需要选择性设置,如下图所示:

    45.png

    2.3.1 高级设置

    名称  druid学名默认值
    含义  
    最大活动连接数maxActive50
    连接池在同一时间能够分配的最大活动连接的数量
    校验语句validationQuery默认语句
    用来检测连接是否有效的 SQL 语句,要求是一个查询语句,常用select 'x' 。用户可自定义该语句。
    获取连接前检验testOnBorrow申请连接时执行 validationQuery 检测连接是否有效
    最大等待时间maxWait10000

    获取连接时最大等待时间,单位毫秒

    注:值设置为 0 不代表永不超时,根据实际情况设置值的大小

    2.3.2 更多设置(不常用,如无特殊场景不建议修改)

    名称
    druid学名默认值含义
    初始化连接数
    initialSize0初始化时建立物理连接的个数
    最小空闲连接数minIdle0
    连接池最小连接数量
    归还连接前校验testOnReturn
    归还连接时执行validationQuery检测连接是否有效
    开启空闲回收器校验testWhileIdle
    指明连接是否被空闲连接回收器(如果有)进行检验,如果检测失败,则连接将被从池中去除
    空闲连接回收器休眠时间timeBetweenEvictionRunsMillis-1
    在空闲连接回收器线程运行期间休眠的时间值,以毫秒为单位
    空闲连接回收检查数

    numTestPerEvictionRun

    3
    在每次空闲连接回收器线程(如果有)运行时检查的连接数量
    保持空闲最小时间值minEvictableIdleTimeMillis1800s

    连接保持空闲而不被驱逐的最小时间

    某数据连接空闲时间若超过保持空闲最小时间值,检查


    空闲连接强制回收阈值maxEvictableIdleTimeMillis25200s

    也就是7小时

    若数据连接空闲时间超过该值,该数据连接将从连接池移除
    空闲连接可用性定期检查时间阈值keepAliveBetweenTimeMillis

    80000ms

    也就是80s

    空闲连接的保持存活时间,可以确保在空闲一段时间后连接不会被意外关闭
    • fetchSize 设置

    fetchSize 参数是用于控制从数据库中获取数据的批处理大小的设置。较小的 fetchSize 值会减少每次数据库查询的内存消耗,但可能需要更多的数据库往返来获取完整的结果集;较大的 fetchSize 值可以减少数据库往返次数,但会增加内存使用量。可以根据你的需求通过设置 fetchSize 参数值,来优化数据库查询性能。

    若参数值 ≤ 0(例如:-20)则表示不开启 fetchSize 参数。

    1)Oracle、DB2、Postgre 这三种数据库必须设置 fetchSize 参数,所以若设置了≤0 的参数值,会自动分别被替换为 128、50、10000。

    2)其他数据库默认情况下不开启 fetchSize 参数。

    1710224064507210.png

    3)若为空则表明不配置此项参数。

    2.3.3 SSH 设置

    若用户安全性要求高,需要使用 SSH 。可以直接勾选「使用SSH通道」,输入对应信息。

    注:验证方法支持密码和公钥,其中选择「公钥」需要将文件放置在 %FineDataLink%/webapps/webroot/WEB-INF/resources 下。

    46.png

    点击「测试连接」,若提示连接成功,点击「保存」保存该配置。

    2.3.4 SSL 设置

    注:暂只支持 MySQL 数据库

    1)在%FineDataLink%/webapps/webroot/WEB-INF/resources/certificates 中放入 CA 证书、客户端证书以及客户端密钥,如下图所示:

    2)勾选「使用SSL通道」,将文件添加进对应位置。如下图所示:

    3)点击「测试连接」,若连接成功点击「保存」保存该配置。

    3. 管理数据连接

    3.1 单个数据连接管理

    数据连接创建成功后,界面如下图所示:

    注:用户创建的文件夹、数据连接,默认具备使用和管理权限。

    48.png

    鼠标悬浮在数据连接名称右侧,可对数据连接做编辑、重命名、复制、删除、测试连接操作。如下图所示:

    50.png

    「数据连接管理」各设置项说明如下表所示:

    设置项说明
    测试连接测试数据库配置是否成功
    编辑修改数据连接配置项
    重命名重命名该数据库,不可重名,不可为空
    复制复制该条数据库,且数据连接名自动加 1 
    删除删除该数据库
    数据连接信息显示数据库类型和创建者

    需要注意以下几点:

    • 未适配的数据库类型右侧不显示图标。

    • 在管理数据连接时,数据连接的名字不能随意改动。更新到本地的表与数据库匹配依靠的是数据连接的名字,如果修改数据连接的名字,从该连接中取出的表将无法再更新。  

      如果是 SQL 数据集,也会导致没有「修改 SQL」的按钮。

    • 如果更新本地保存的表中的数据库,例如由开发环境变化到生产环境,表名与表结构均一致时,只需要修改数据连接的 URL 即可。本地保存的表依照数据连接名依然可以更新数据。

    3.2 文件夹管理数据连接

    1)点击文件夹或根目录,可通过数据连接名称(不区分字母大小写,支持模糊搜索)、数据源类型(可多选,为表格中已有的数据源类型)、创建人(可多选,为表格中已有创建人)搜索数据连接。如下图所示:

    51.png

    「活动连接数」和「空闲连接数」的说明如下表所示:

    连接池状态说明
    活动连接数

    连接池最大可创建的连接数,若最大连接数是 10 ,程序已申请 10 个连接,而且一直在使用,第 11 个连接申请时报错:active 10 maxActive 10

    空闲连接数

    当前处于空闲状态的连接, 随时会转成活动连接, 空闲状态超过最大空闲连接时间时自动释放

    活动连接数+空闲连接数=实际物理连接数

    2)可对文件夹进行重命名、删除操作。如下图所示:

    文件夹下存在数据连接时,不支持删除该文件夹。

    54.png

    3)可将数据连接从 A 文件夹中拖拽到 B 文件夹中;文件夹不支持拖拽到另外一个文件夹中,最多支持一层文件夹。

    3.3 数据连接超时检测

    在「数据连接管理>全局设置」中,提供「数据连接超时检测」功能,支持用户自定义数据连接的超时时间。

    数据连接超时时,报错「31300010 kdc服务器不连通」,可手动调大超时时间。

    52.png





    附件列表


    主题: 隐藏目录(不在目录树中显示,不可以搜到,可以通过链接访问)
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持