历史版本3 :資源遷移 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变更
4.0.1.1

「管理系统>智能运维>资源迁移」的资源导出 Tab 下,新增 ETL 任务的导出;资源导入 Tab 下,可导入 ETL 任务

4.0.21独立部署的 FineDataLink ,支持非超级管理员进行定时任务资源迁移

1.2 应用场景

使用 FineDataLink 时,一般先在测试环境系统上进行开发部署,确认无误后再迁移到正式系统中。

用户希望能够批量迁移在测试环境制作的的定时任务或快速复用官方定时任务

1.3 功能简介

FineDataLink 提供资源迁移功能,支持将数据连接、服务器数据集、定时任务资源从测试系统增量迁移到正式系统。

管理员登录 FineDataLink ,点击「管理系统>智能运维>资源迁移」,分为「资源导出」、「资源导入」两部分,如下图所示:

  • 资源导出:将需要迁移到其他系统的资源从服务器中导出,以供后续迁移。

  • 资源导入:将需要迁移的资源在新系统中导入,即迁移至新系统。

1.4 注意事项

1)资源迁移功能仅支持超级管理员,次级管理员。

2)次管在进行「资源导出」时不支持「同时导出权限配置」

3)正式工程需购买「智能运维」功能点才可使用「资源迁移」功能。

4)请确保在资源迁移过程中,没有其他人使用超级管理员账号,否则部分执行请求可能被取消。

5)不建议在个人 PC 端工程开发定时任务后,再以资源迁移的形式同步到公司工程。

      因为个人 PC 端没有管理员维护,经常会因为 JAR 包不同步或资源以及配置不同步的问题导致资源迁移失败,运维成本会很高。

2. 使用前提编辑

2.1 工程限制

资源迁移仅支持独立部署工程使用,集成部署工程暂不支持。

2.2 权限限制

非超级管理员用户想要使用资源迁移,需要为其分配「资源迁移」的使用权限,如下图所示:

注:必须开启资源迁移父节点「智能运维」节点权限。

将「数据平台」中数据开发的使用权限分配给用户,如下图所示:

同时需要将定时任务的管理权限分配给用户,该用户才能有指定定时任务的资源迁移权限,如下图所示:

3. 准备工作编辑

3.1 确认版本

资源迁移之前,请确保资源导入和导出的 FineDataLink 工程使用的版本一致(包括 JAR 包时间)。

管理员可在「管理系统>注册管理>数据平台」下查看 JAR 包时间,如下图所示:

若版本不一致,可通过升级来确保版本一致。

注:在资源导入时,若上传资源对应的工程和当前工程版本不一致,则无法上传。

       提示:无法导入,即将导入的资源需要的工程版本:XXX。当前工程版本:XXX。请确保工程版本一致!

3.2 系统备份

资源导入前建议对测试系统和正式系统均进行 系统备份,如下图所示:

注:备份迁移到的 MySQL 数据库需要选择 utf8_bin 的排序规则。

3.3 确认数据库大小写

若系统配置了 外接数据库 ,在资源迁移前,请确保正式系统和测试系统的「数据库默认字符校验规则」都为「大小写敏感」。

以 Mysql 为例:

3.3.1 进行设置

设置方式:若配置了外接数据库,连接 FineDB 数据库,打开 FINE_CONF_ENTITY 表,设置字符校验规则为 utf8_bin,输入命令如下:

ALTER TABLE fine_conf_entity MODIFY id VARCHAR(255CHARACTER SET utf8 COLLATE utf8_bin;  #设置列的默认校验规则
ALTER TABLE fine_conf_entity DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;  #设置表的校验规则

3.3.2 查看设置结果

如下图所示:

3.4 确认插件和驱动

1)若数据连接需依赖第三方插件,目前只支持 JSON 数据集和 Mysql8 数据连接,其他插件类型不适配,会导入失败。

2)数据连接迁移只迁移配置。驱动 jar 包、kerberos 认证文件、JNDI 配置文件等都不会迁移,需要手动配置/放置。

  • 请在进行数据连接迁移前,确认正式工程下是否提前安装依赖的相关数据连接插件,否则将导致导入失败。

  • 请在进行数据连接迁移前,确认正式工程下是否提前安装依赖的相关数据连接驱动,否则将导致导入的数据连接不可使用。

3.5 确认数据连接

  • 若需要进行数据连接迁移,需要在资源迁移导入前,保证正式系统已创建好了数据连接,且该数据连接名需与测试系统一致,否则资源无法迁移成功。

  • 服务器数据集若依赖相关数据连接,请确认将相关数据连接导入正式工程,否则导入的服务器数据集无法使用。

4. 测试系统下资源导出编辑

4.1 选择资源

管理员登录 FineDataLink 后,进入「管理系统>智能运维>资源迁移」,选择「资源导出」。

选择需要导出的资源类型,选择每种类型下需要导出的具体内容,支持多选。如下图所示:

注:导出定时任务时,可选择将该任务使用到的数据连接一起导出,则在正式系统导入资源包后,可直接复用定时任务。

可导出的资源如下:

资源类型
说明
数据连接可选取 FineDataLink 中的数据连接

导出数据连接时的资源包括:数据连接的所有配置(基础配置、高级配置

注:数据连接的密码加密导出,keytab 密钥路径不支持导出、迁移后需要手动输入。

服务器数据集

可选取 FineDataLink 中的服务器数据集

支持导出:SQL数据集、文件数据集、树数据集、JSON数据集、内置数据集、程序数据集、关联数据集、存储过程

  • 文件数据集

若文件数据集的数据集来源为URL,则只导出配置,文件不导出

若文件数据集的数据集来源为文件,文件路径包含参数,则文件不导出

  • 树数据集

若导出树数据集时,未导出依赖的原数据集,则导入时可正常导入但无法使用

  • 关联数据集

若导出关联数据集时,未导出依赖的原数据集,则导入时可正常导入但无法使用

  • 权限导出插件

权限导出插件生成的服务器数据集,不支持迁移,会导入失败

  • 第三方插件数据集

若服务器数据集需依赖第三方插件,目前只支持 JSON 数据集和 Mysql8 数据连接,其他插件类型不适配,会导入失败

定时任务

可选取 FineDataLink 中的定时任

4.2 选择同时导出的资源

在导出时,若勾选「同时导出权限配置」,即可同时导出资源的权限配置,权限配置类型包括:使用、管理权限。如下图所示:

同时导出权限配置说明如下:

资源类型说明
数据连接

如不勾选,数据连接导入到「正式系统」中时,会继承正式系统中的权限。

如勾选该选项,数据连接导出导入时,会将「测试系统」中的权限实体同时导出导入

服务器数据集迁移资源类型为「服务器数据集」时,该选项不生效
定时任务

迁移资源类型为「定时任务」时,该选项不生效

4.3 导出的文件

导出后会生成 resources.zip 文件,如下图所示:

4. 正式系统下资源导入编辑

4.1 上传文件

超级管理员登录 FineDataLink ,选择「管理系统>智能运维>资源迁移>资源导入」,如下图所示:

注:单次只允许上传单个压缩文件。

系统会获取导入文件所包含的资源,包含类型、平台路径、物理资源、权限信息及导入方式。

设置
说明
类型

类型包括:数据连接、服务器数据集、定时任务

平台路径

资源类型为「数据连接」时,路径为「导出系统」的数据连接名称

资源类型为「服务器数据集」时,路径为「导出系统」的服务器数据集的名称

资源类型为「定时任务」时,路径为「导出系统」的定时任务在平台中的路径

物理资源-
权限信息

点击「详情」可查看权限信息

其中会提示「目标系统」是否有部门/角色/用户在被导入系统中的缺失情况

注:权限缺失不影响定时任务的导入,如有缺失,导入时自动忽略权限配置

若导出资源时,未勾选「同时导出权限配置」,则此处显示为 --

导入方式

在导入时,系统会对导入资源进行检测,检测是否与系统现有资源有冲突。

冲突检验以资源的原始名与其在平台中的路径名为准。

导入方式分为直接导入和覆盖导入

  • 直接导入:与系统中已有资源没有冲突,默认选中。
    导入路径以资源包内来源系统的路径为准,目标系统不存在对应路径时则新建

  • 覆盖导入:与系统中已有资源有冲突,默认不选中且高亮,点击按钮可以查看到详细说明

其中,定时任务的覆盖导入如下:

  • 对相同路径下任务的覆盖,可以理解为:打开「目标系统」原任务>进入任务修改>保存

  • 对不同路径下任务的覆盖,可以理解成:移动「目标系统」原任务至新路径>进入任务修改>保存

冲突检测

平台路径:路径冲突

4.2 导入文件

勾选需要上传的资源,点击「导入」,点击「确定」。

若导入失败,显示失败的原因(如:导入不支持的插件类型数据连接或者导入工程没有安装插件);若导入成功,则资源即时生效。如下图所示:

点击「数据开发」,可看到导入成功的定时任务,如下图所示: