1. 概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
4.0.8 | - |
1.2 应用场景
用户希望在 FineDataLink 中调用Kettle任务、调用Python计算任务,或者进行数据库备份还原等操作。
1.3 功能说明
FineDataLink 支持通过执行 shell 脚本,对接外部的独立数据处理过程。
例如SVN更新、文件运维清理、调用Kettle任务、调用Python计算任务、调用Spark计算任务、执行数据库备份还原等。
同时支持使用脚本参数。
注:仅支持调用 Linux 环境的脚本。
2. 前提条件编辑
由于需要在目标服务器执行指定Shell脚本,因此需要首先通过 SSH 远程连接至目标服务器。
进入 FineDataLink 后,点击「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,选择「SSH协议」,如下图所示:
输入数据连接名称、主机名称、端口、用户名、密码,并点击测试连接,连接成功,点击「保存」,如下图所示:
连接信息如下所示:
配置项 | 说明 |
---|---|
SSH连接名称 | 填写SSH连接名称。 默认值重名时,追加递增的数字后缀,如「SSH连接1」。 |
主机名称 | 填写SSH的远程主机名。 如:192.168.1.123 |
端口 | 填写SSH端口。 数值范围(0,65535]。 |
用户名 | 填写SSH用户名。 |
密码 | 填写SSH密码。 |
3. 操作示例编辑
例如某shell脚本如下图所示:
其中$0:指所写的shell脚本本身的名字;$1、$2、$3分别为写入的三个参数。
3.1 设置参数
由于第一个参数$1存储在数据表中,我们使用参数赋值取出。
首先新建「参数赋值」节点,从 数据表中取出需要使用的数据(例如这里取出kettle)作为参数,如下图所示:
第二个和第三个参数$2、$3 直接使用参数设置,如下图所示:
3.2 设置 Shell 脚本
新建 Shell 脚本,将参数赋值节点和脚本连接,选择需要远程执行任务的目标服务器 SSH 连接位置,写入脚本路径,然后设置脚本参数,点击添加参数,将 3.1 节设置参数 b1、b2、b3 添加至脚本参数中,如下图所示:
注:脚本参数传入脚本的顺序默认按照序号自上而下。
脚本配置项如下所示:
配置项 | 说明 |
---|---|
SSH连接 | 下拉所有可选的SSH连接。 |
脚本路径 | 填写SSH目标端要执行的Shell脚本完整路径。 注1:仅支持Linux系统下后缀名为.sh的脚本文件。 注2:支持引用参数,引用参数示例如下 |
脚本参数 | 指定传递给脚本的参数。 注1:脚本参数传入脚本的顺序按照序号自上而下。 注2:脚本参数防止Shell注入。 注3:参数中不能带有单引号,若参数确实需要带有单引号时,通过自定义Shell脚本内的参数使用逻辑来替代实现。 |
执行超时配置 | 脚本开始执行到完全执行完毕的超时时间。
|
字符编码 | 指定输出字符编码。 支持设置编码格式:
|
3.3 执行任务
点击「保存并运行」,即可执行任务,如下图所示:
执行任务后,即可在脚本设置的输出文件中看到输出结果,即输出了三个参数,如下图所示: