历史版本13 :字段设置 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

[helpvideo]3268[/helpvideo]

1.1 版本

FineDataLink 版本功能变更
3.7
数据转换」节点下新增「字段设置」功能,可实现数据流字段的选择、重命名、数据类型转换操作

1.2 应用场景

用户想调整 API 获取的字段类型,比如获取的是时间戳,需要调整成日期格式参与后续计算或入库,此时可使用「字段设置」功能,在 API 输入和 JSON 解析算子后可接此算子,进行字段类型转换与格式化。

1.3 功能简介

「字段设置」算子可实现数据流字段的选择、重命名、数据类型转换操作。

2. 示例编辑

2.1 前期准备

本文在 数据关联 示例基础上,新增「字段设置」功能。

2.2 新增字段设置算子

1)在「数据左合并保存到新表两个算子间新增算子「字段设置」,「字段设置」算子用线条跟「数据左合并」和「保存到新表」连起来。如下图所示:

2022-11-29_10-14-59.png

此时点击「字段设置」算子,可查看左合并后的表字段。如下图所示:

4.png

2.3 字段设置

本节为展示「字段设置」功能,将做以下操作:

  • 删除「姓名1」字段

  • 姓名字段重命名为学生姓名

  • 英语成绩数学成绩字段类型改为 int

上述操作做完后,字段设置界面如下图所示:

2022-11-29_10-26-56.png

各设置项介绍如下表所示:

设置项
说明
字段名输出字段名,可直接编辑

要求:

  • 不允许为空

  • 限制长度<=30字符

  • 只能是字母 (a-z A-Z)、数字 (0-9)、下划线(_)、或中文的组合

  • 不能包含空格

  • 不能与其他有效字段名重复

注:重复字段名检测,会根据字段修改的顺序进行判读,发现重名列时报错「Spark列重复」。

      例如存在AB字段,将A改为B,将B改为C,由于A改为B时,存在B名称字段,因此会报错。

类型

可设置字段类型:

  • int

  • long

  • float

  • double

  • date

  • timestamp

  • binary

  • boolean

  • varchar

更改显示改动的内容

「更改」右侧那列图标:1684310799602725.png,分别代表删除字段和恢复默认的意思

时间格式32.png

「时间格式」列在视觉上隐藏,仅在必要时显示输入框,输入框为空时灰色字体提示输入内容,并提供默认值

下拉框内容为:

1)yyyy-MM-dd HH:mm:ss 

  • varchar 转 timestamp 默认填入

  • timestamp 转 varchar 默认填入

其中,yyyy 表示 4 位的年份;MM 表示月;dd 表示天;HH 表示小时(24小时制);mm 表示分钟;ss 表示秒;SS 表示毫秒

2)yyyy-MM-dd

  • varchar 转 date 默认填入

  • date 转 varchar 默认填入

3)yyyyMMddHHmmss

4)yyyyMMdd

2.4 设置数据输出

点击「保存到新表」算子,目标表选择「自动建表」,表名称为「ceshi1357」。如下图所示:

2022-11-29_10-42-55.png

2.5 运行节点

1)点击右上角保存,保存数据转换的设计。如下图所示:

2022-11-29_10-42-55.png

2)回到 数据开发界面,点击右上角保存并运行,日志有执行成功信息表示任务成功运行。

2022-11-29_10-52-39.png

可以看到表 ceshi1357 的数据如下图所示:

9.png