反馈已提交

网络繁忙

创建并管理数据源

  • 文档创建者:Roxy
  • 历史版本:15
  • 最近更新:Wendy123456 于 2024-03-19
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.0.21
    • FineDataLink 独立部署版本, 「管理系统>数据连接>数据连接管理」处,屏蔽不支持的数据源类型

    • 数据连接名称支持特殊字符` ~ ! @ # $ % ^ & * ( ) _ - + = { } [ ] | \ : " ; ' < > , . ? /

    4.1.3增加 fetchsize 参数配置
    4.1.5.1
    新增设置项:空闲连接强制回收阈值、空闲连接可用性定期检查时间阈值

    1.2 应用场景

    在进行数据同步前,需要配置好需要同步的源端和目的端数据库相关信息,以便在配置同步任务时,可以通过选择数据源名称来确定同步任务读取和写入的数据库。

    1.3 功能说明

    FineDataLink 支持配置多种数据源。

    本文介绍配置数据源时需要了解的相关信息。

    2. 操作步骤

    2.1 创建数据连接

    登录 FineDataLink,点击「管理系统>数据连接>数据连接管理>新建数据连接」可创建新的数据连接,如下图所示:

    注:用户需要有 数据连接管理权限 才可以设置数据连接。

    70.png

    2.2 选择数据库类型

    接下来需要选择自己需要的数据库类型,本文选择「MySQL」数据库。如下图所示:

    2.3 配置数据连接

    2.3.1 配置数据库信息

    输入数据库的相关信息,不同数据库具体的连接方式可能略有不同,本文示例为 MySQL ,如下图所示:

    以下为数据连接信息的详细解释,不同数据库要设置的连接信息不同,所以某些数据库会缺失一些项。

    配置
    介绍
    数据连接名称给这个数据连接一个名称,按用户自己的习惯起名即可
    驱动

    连接数据库所需要的驱动:

    • 默认:一小部分数据库中内置了数据库驱动,使用默认即可。

    • 自定义:FineDataLink 中未内置驱动,需要用户自定义驱动,详细操作请参见:驱动管理

    数据库名称输入要连接的数据库的名字
    主机输入数据库所在主机(或服务器)的 IP
    端口输入数据库所在主机(或服务器)的端口
    认证方式

    若数据库支持多种认证方式,则点击会出现认证方式下拉框:

    • 用户名密码:输入数据库的用户名和密码

    • Kerberos认证:填入注册过 kdc 的客户端名称和 keytab 密钥路径,详情请参见:[平台]数据连接Kerberos认证

    编码推荐使用默认
    模式
    • 部分数据库需要选择模式,需要先连接成功后才能选择模式

    • 当数据库不存在模式选择,则无需进行模式选择

    • 如果这些数据库未进行模式选择,则默认选择的是第一个模式

    • 连接多模式的数据库时使用 SQL 语句需要带上模式名前缀进行搜索

    注:需要正确选择数据库对应的模式,否则会导致添加数据库表时显示「当前数据连接中无可用表」,只能通过 SQL 数据集进行取数。

    数据连接URL自动生成的 URL ,无需特意配置

    点击「测试连接」,即可测试是否可以连接成功。

    若用户不需要设置连接池,即可点击「保存」。完成数据连接配置。

    2.4 连接池设置

    在连接数据库时,有可能需要进行一些高级设置,但大部分情况下是不需要设置的。我们可以根据需要选择性设置,如下图所示:

    • 常用设置

    名称  druid学名默认值
    含义  
    最大活动连接数maxActive50
    连接池在同一时间能够分配的最大活动连接的数量
    校验语句validationQuery默认语句
    用来检测连接是否有效的 SQL 语句,要求是一个查询语句,常用select 'x' 。用户可自定义该语句。
    获取连接前检验testOnBorrow申请连接时执行 validationQuery 检测连接是否有效
    最大等待时间maxWait10000
    获取连接时最大等待时间,单位毫秒
    • 更多设置(不常用,如无特殊场景不建议修改)

    名称
    druid学名默认值含义
    初始化连接数
    initialSize0初始化时建立物理连接的个数
    最小空闲连接数minIdle0
    连接池最小连接数量
    归还连接前校验testOnReturn
    归还连接时执行validationQuery检测连接是否有效
    开启空闲回收器校验testWhileIdle
    指明连接是否被空闲连接回收器(如果有)进行检验,如果检测失败,则连接将被从池中去除
    空闲连接回收器休眠时间timeBetweenEvictionRunsMillis-1
    在空闲连接回收器线程运行期间休眠的时间值,以毫秒为单位
    空闲连接回收检查数

    numTestPerEvictionRun

    3
    在每次空闲连接回收器线程(如果有)运行时检查的连接数量
    保持空闲最小时间值minEvictableIdleTimeMillis1800s

    连接保持空闲而不被驱逐的最小时间

    某数据连接空闲时间若超过保持空闲最小时间值,检查


    空闲连接强制回收阈值maxEvictableIdleTimeMillis25200s

    也就是7小时

    若数据连接空闲时间超过该值,该数据连接将从连接池移除
    空闲连接可用性定期检查时间阈值keepAliveBetweenTimeMillis

    80000ms

    也就是80s

    空闲连接的保持存活时间,可以确保在空闲一段时间后连接不会被意外关闭
    • fetchsize 设置

    fetchSize 参数是用于控制从数据库中获取数据的批处理大小的设置。较小的 fetchSize 值会减少每次数据库查询的内存消耗,但可能需要更多的数据库往返来获取完整的结果集;较大的 fetchSize 值可以减少数据库往返次数,但会增加内存使用量。可以根据你的需求通过设置 fetchSize 参数值,来优化数据库查询性能。

    若参数值 ≤ 0(例如:-20)则表示不开启 fetchsize 参数。

    1)Oracle、DB2、Postgre 这三种数据库必须设置 fetchsize 参数,所以若设置了≤0 的参数值,会自动分别被替换为 128、50、10000。

    2)其他数据库默认情况下不开启 fetchsize 参数。

    1710224064507210.png

    3)若为空则表明不配置此项参数。

    2.5 SSH 设置

    若用户安全性要求高,需要使用 SSH 。可以直接勾选「使用SSH通道」,输入对应信息。

    注:验证方法支持密码和公钥,其中选择「公钥」需要将文件放置在 %FineDataLink%/webapps/webroot/WEB-INF/resources 下。

    点击「测试连接」,若提示连接成功,点击「保存」保存该配置。

    2.6 SSL 设置

    注:暂只支持 MySQL 数据库

    1)在%FineDataLink%/webapps/webroot/WEB-INF/resources/certificates 中放入 CA 证书、客户端证书以及客户端秘钥,如下图所示:

    2)勾选「使用SSL通道」,将文件添加进对应位置。如下图所示:

    3)点击「测试连接」,若连接成功点击「保存」保存该配置。

    2.7 管理数据连接

    2.7.1 管理范围

    点击「管理系统>数据连接>数据连接管理」,点击某一数据库右侧图标,如下图所示:

    71.png

    「数据连接管理」各设置项说明如下表所示:

    设置项说明
    测试连接测试数据库配置是否成功
    编辑修改数据连接配置项
    重命名重命名该数据库
    复制复制该条数据库,且数据连接名自动加 1 
    删除删除该数据库
    数据连接信息显示数据库类型和创建者

    需要注意以下几点:

    • 未适配的数据库类型右侧不显示1572937479544823.png图标。

    • 在管理数据连接时,数据连接的名字不能随意改动。更新到本地的表与数据库匹配依靠的是数据连接的名字,如果修改数据连接的名字,从该连接中取出的表将无法再更新。  

      如果是 SQL 数据集,也会导致没有「修改 SQL」的按钮。

    • 如果更新本地保存的表中的数据库,例如由开发环境变化到生产环境,表名与表结构均一致时,只需要修改数据连接的 URL 即可。本地保存的表依照数据连接名依然可以更新数据。

    2.7.2 连接池状态

    数据连接界面提供连接池状态页面,可看到目前已创建的数据连接及对应的连接状态,如下图所示:

    72.png

    「活动连接数」和「空闲连接数」的说明如下表所示:

    连接池状态说明
    活动连接数

    连接池最大可创建的连接数,若最大连接数是 10 ,程序已申请 10 个连接,而且一直在使用,第 11 个连接申请时报错:active 10 maxActive 10

    空闲连接数

    当前处于空闲状态的连接, 随时会转成活动连接, 空闲状态超过最大空闲连接时间时自动释放

    活动连接数+空闲连接数=实际物理连接数

    2.7.3 数据连接超时检测

    在「数据连接管理>全局设置」中,提供「数据连接超时检测」功能,支持用户自定义数据连接的超时时间。

    数据连接超时时,报错「31300010 kdc服务器不连通」,可手动调大超时时间。

    73.png





    附件列表


    主题: 数据源配置与使用
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持