1.1 版本

1.2 应用场景

在数据开发过程中，对于一些复杂的数据处理（比如使用可视化算子或者 SparkSQL 较难实现的），需要在「数据转换」节点中使用 Python 脚本处理数据。

1.3 功能简介

「数据转换」节点中新增「Python 算子」，可调用 Python 脚本进行复杂数据处理。

使用「Python 算子」，需要准备 Python 环境。

2.1 确定 Python 版本

2.1.1 支持的 Python 版本

Python3.6 及以上版本。

2.1.2 注意事项（必看）

需注意：

1）例如 Python 安装在/usr/local/python3中，site-packages 目录需要在这个目录下。如下图所示：

/usr/local/python3 下存在 site-packages 目录。

find /usr/local/python3 -type d -name "site-packages"

需要记住 site-packages 所在的路径，后面步骤中需要用到。

2）若 Python 安装在 Linux 中，FineDataLink 会检测安装目录下是否会存在bin、include、lib文件夹，若不存在，在「Python 算子」中预览或运行时会报错。

若 Python 安装在 Windows 中，FineDataLink 会检测安装目录下是否会存在 python.exe、include、Lib，若不存在，在「Python 算子」中预览或运行时会报错。

2.2 安装必备包

2.1.1 Linux 系统

假设 Python 安装在/usr/local/python3中，site-packages 在/usr/local/python3/lib/python3.7下。

将下方语句中的/usr/local/python3/lib/python3.7/site-packages替换为用户实际的 site-packages 路径即可。

1）安装 jep

pip3 install --target=/usr/local/python3/lib/python3.7/site-packages/ jep

2）安装 pandas

pip3 install --target=/usr/local/python3/lib/python3.7/site-packages/ pandas

3）安装 datetime

pip3 install --target=/usr/local/python3/lib/python3.7/site-packages/ datetime

4）安装 resource

pip3 install --target=/usr/local/python3/lib/python3.7/site-packages/ resource

2.1.2 Windows 

假设 Python 可执行文件在 E:\Python3x\python.exe ，site-packages 在 E:\Python3x\Lib\site-packages 下。

1）安装 jep

pip3 install --target=E:\Python3x\Lib\site-packages\ jep

2）安装 pandas

pip3 install --target=E:\Python3x\Lib\site-packages\ pandas

3）安装 datetime

pip3 install --target=E:\Python3x\Lib\site-packages\ datetime

注：Windows 系统不用安装 resource 模块，但是 resource 模块是用来限制 python 占用内存的，所以会有宕机风险。

2.3