用户数据存在空值,想过滤掉空值数据。
数据表包含了数年的产品合同信息,业务员在使用时只想要 2017 年的合同数据。
此时可使用「数据过滤」算子满足需求。
「数据过滤」算子可过滤符合条件的数据。如下图所示:
示例数据:订单表.xls
本文要筛选出「订购日期」为 2023 年,「运货费」大于 100 的数据。
1)新建 ETL 任务。如下图所示:
2)新增一个「数据转换」节点。如下图所示:
2)点击「数据转换」节点,添加「DB表输入」算子,筛选出订单表数据。如下图所示:
由于本次示例使用的表数据字段类型都为文本类型,需要将日期字段修改为日期类型,数值字段修改为数值类型。
注:若用户数据类型正确,可忽略本节步骤。
添加「字段设置」算子,与「DB表输入」算子相连,修改字段类型。如下图所示:
设置过滤条件,筛选出「订购日期」为 2023 年,「运货费」大于 100 的数据。如下图所示:
点击「数据预览」,筛选后的数据如下图所示:
添加一个 DB表输出算子,输出筛选后的数据。如下图所示:
1)保存并运行任务,日志有执行成功信息表示任务成功运行。如下图所示:
2)aa 表中可看到筛选数据已输出。如下图所示:
设置项介绍如下表所示:
字段范围为该算子输入端所有字段
支持搜索字段
字段类型分为文本、数值、时间和其他,无法识别为前三者的类型即算作其他
对不同运算符,匹配对应的输入框,如日期输入框、字符串输入框等,包括通过$引用参数
「固定值输入框」中的值,无需加单引号、双引号,直接输入即可;若运算符选择属于、不属于时,多个值用,隔开
示例:
备注:
支持添加多个条件/公式
默认添加新表达式时,逻辑关系为且,可点击切换默认逻辑关系
注1:字段类型为文本、数值时,该算子将「等于」操作符和「属于」操作符合并为属于,即「属于」操作符相当于=和∈。
注2:运算符选择为空时,可过滤出空值、null(不区分大小写)、空字符串(“”);4.0.28 及之后版本可过滤出值为空格的数据。
属于、不属于
包含、不包含、开头是、结尾是、开头不是、结尾不是、为空、非空
介于、不介于、大于、小于、大于等于、小于等于、为空、非空
介于、不介于
某个日期之前、某个日期之后、等于、不等于、为空、非空
通过数据过滤,可实现字段模糊查询筛选,不需要复杂的SQL 语句,提升数据处理效率,详情参见:字段模糊查询/筛选
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
Submitted successfully
Network busy