最新历史版本 :字段设置 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变更
3.7
数据转换」节点下新增「字段设置」功能,可实现数据流字段的选择、重命名、数据类型转换操作
4.1.5.3
  • 支持批量删除和还原字段,详情参见本文 2.3 节

  • 交互优化

4.1.5.5交互优化
4.2.10.1
  • 原「时间格式」改名为「类型转换配置」

  • 字段类型新增 decimal 类型,且支持设置精度、标度

  • 新增原字段名信息,且支持搜索原字段名

1.2 功能简介

「字段设置」节点可对接入数据的字段做以下操作:

  • 删除部分字段。

  • 字段重命名。

  • 修改字段类型。

2. 示例编辑

2.1 前期准备

本文在 数据关联 示例基础上,新增「字段设置」功能。

2.2 新增字段设置算子

1)在「数据关联「DB表输出两个节点间新增「字段设置」节点,「字段设置」节点用线条跟数据关联」和「DB表输出」连起来。如下图所示:

11.png

此时点击「字段设置」算子,可查看左合并后的表字段。如下图所示:

1.png

2.3 字段设置

本节为展示「字段设置」功能,将做以下操作:

  • 删除「姓名1」字段

  • 姓名字段重命名为学生姓名

  • 英语成绩数学成绩字段类型改为 int

上述操作做完后,字段设置界面如下图所示:

2.png

各设置项介绍如下表所示:

设置项
说明
勾选框

勾选框选中字段后可进行批量删除和还原,如下图所示

3.png

字段名输出字段名,可直接编辑

要求:

  • 不允许为空

  • 4.2.10.1 及之后版本,最多输入 63 个字符;4.2.10.1 之前版本,最多输入 30 个字符

  • 只能是字母 (a-z A-Z)、数字 (0-9)、下划线(_)、或中文的组合

  • 不能包含空格

  • 不能与其他有效字段名重复

注:重复字段名检测,会根据字段修改的顺序进行判读,发现重名列时报错「Spark列重复」。

      例如存在AB字段,将A改为B,将B改为C,由于A改为B时,存在B名称字段,因此会报错。

4.2.10.1 及之后版本,若修改字段名,原字段名会显示在新名称下方,且支持搜索原名称

12.png

类型

可设置字段类型:int、long、float、double、date、timestamp、binary、boolean、varchar

4.2.10.1 及之后版本,支持设置 decimal 类型,且支持设置精度、标度:

注:精度需大于等于标度,且最大为38

4.png

更改显示改动的内容,可以筛选查看已更改和未更改字段。

5.png

类型转换配置

4.2.10.1 及之后版本,「时间格式」改名为「类型转换配置」。

1)varchar → date/timestamp:需指定原始字段的解析格式

6.png

其中,yyyy 表示 4 位的年份;MM 表示月;dd 表示天;HH 表示小时(24小时制);mm 表示分钟;ss 表示秒;SS 表示毫秒。支持选择或手动填写格式,且支持毫秒级别。

2)date/timestamp → varchar:需指定目标字段的输出格式

7.png

3)其他类型 → decimal:需指定目标字段的精度、标度

4.png

2.4 设置数据输出

点击「DB表输出」算子,目标表选择「自动建表」,表名称为「最终成绩表」。如下图所示:

8.png

2.5 运行任务

点击右上角保存,保存数据转换的设计。如下图所示:

9.png

可以看到「最终成绩表」的数据如下图所示:

10.png