"数据转换" 分类下的文档该分类下有124篇文档创建该分类下的文档
OR-逻辑或
文档创建者:Roxy      创建时间:06-15 18:19      标签:      编辑:1次    |   浏览:496次

摘要:1. 概述语法OR(表达式1, 表达式2, ……)判断系列参数的真值,只要有一个参数为真最后结果就为真            参数1表达式1,[阅读全文:]

AND-逻辑与
文档创建者:Roxy      创建时间:06-15 18:02      标签:      编辑:2次    |   浏览:427次

摘要:1. 概述语法AND(表达式1, 表达式2, ……)判断系列参数的真值,必须所有的参数都为真最后结果才为真            参数1表达式[阅读全文:]

LEN-返回字符长度
文档创建者:Roxy      创建时间:06-14 15:25      标签:      编辑:2次    |   浏览:313次

摘要:1. 概述语法LEN(文本/数值)返回文本串中的字符数长度                  参数文本/数值需要[阅读全文:]

REPEAT-重复显示文本
文档创建者:Roxy      创建时间:06-14 20:06      标签:      编辑:2次    |   浏览:340次

摘要:1. 概述语法REPEAT(文本, 次数)根据指定次数重复显示文本参数1文本需要重复的文本参数2次数重复次数2. 注意事项支持使用两个参数,第一个为文本类型,第二个为数值类型。如果参数中有NULL,则结[阅读全文:]

字符串拼接和截取
文档创建者:Roxy      创建时间:06-15 16:27      标签:      编辑:0次    |   浏览:4015次

摘要:1. 概述在进行数据处理时,数据的截取、合并必不可少。数据中有字段结构为用某些分隔符连接起来的字符串,使用时需要拆分开只提取固定位置的字符串,或者整体拆分为多列。FineDataLink 支持使用「新增[阅读全文:]

DATETONUMBER-日期转化为13位时间戳
文档创建者:Roxy      创建时间:06-15 14:58      标签:      编辑:0次    |   浏览:719次

摘要:1. 概述语法DATETONUMBER(文本/日期时间)返回自1970年1月1日00:00:00GMT经过的毫秒数。            参[阅读全文:]

FIND-返回字符所在位置
文档创建者:Roxy      创建时间:06-15 10:26      标签:      编辑:1次    |   浏览:560次

摘要: 1. 概述语法FIND(文本1, 文本2, 索引)从指定的索引处开始返回第一次出现的指定子字符串文本1在此字符串文本2中的索引(传入字符找位置)      &n[阅读全文:]

LOWER-大写转小写
文档创建者:Roxy      创建时间:06-14 19:56      标签:      编辑:0次    |   浏览:299次

摘要:1. 概述语法LOWER(文本)将所有的大写字母转化为小写字母                   参[阅读全文:]

UPPER-小写转大写
文档创建者:Roxy      创建时间:06-14 17:28      标签:      编辑:1次    |   浏览:318次

摘要:1. 概述语法UPPER(文本)将文本中所有的字符转化为大写            参数1文本需要转化为大写字符的文本  &nbsp[阅读全文:]

LEFT-截取前几个字符串
文档创建者:Roxy      创建时间:06-14 17:23      标签:      编辑:2次    |   浏览:384次

摘要:1. 概述语法LEFT(文本, 字符数)根据指定的字符数返回文本串中的第一个或前几个字符            参数1文本要求「字符数」值必须[阅读全文:]

MID-返回指定位置字符串
文档创建者:Roxy      创建时间:06-14 16:05      标签:      编辑:0次    |   浏览:379次

摘要:1. 概念语法MID(文本, 起始位置, 字符数)将文本串从指定位置返回一定数目的字符            参数1文本包含要提取字符的文本串[阅读全文:]

RIGHT-截取后几个字符串
文档创建者:Roxy      创建时间:06-14 15:58      标签:      编辑:0次    |   浏览:365次

摘要:1. 概述语法RIGHT(文本, 字符数)根据指定的「字符数」从右开始返回「文本」中的最后一个或几个字符             [阅读全文:]

新增列_条件赋值
文档创建者:Roxy      创建时间:06-08 16:41      标签:      编辑:3次    |   浏览:963次

摘要:1. 概述1.1 应用场景用户需要需要根据某些条件对数据进行分类赋值处理,形成新增列,此时 IF 函数是一个比较好的选择。1.2 实现思路通常 IF 函数会与 AND、OR、FIND等嵌套使用。2. 示[阅读全文:]

SparkSQL窗口函数
文档创建者:Roxy      创建时间:06-13 19:04      标签:      编辑:1次    |   浏览:1533次

摘要:1. 概述FineDataLink 中的 SparkSQL 支持使用窗口函数。窗口函数是一种分析型的OLAP函数。窗口函数与聚合函数的功能相似,两者都可以对指定数据窗口进行统计分析,但窗口函数与聚合函数[阅读全文:]

字段模糊查询/筛选
文档创建者:Roxy      创建时间:06-12 15:23      标签:      编辑:0次    |   浏览:1029次

摘要:1. 概述模糊查询和筛选区别于精确搜索,搜索系统自动按照用户输入关键词对文本类型的字段进行检索,得到某个范围内的值。类似于 SparkSQL 语句中的 Like 。FineDataLink 通过更简便的[阅读全文:]

数据排序
文档创建者:Roxy      创建时间:06-08 17:19      标签:      编辑:1次    |   浏览:939次

摘要:1. 概述在进行数据处理时,经常需要对数据进行排序,本文来介绍如何在 FineDataLink 中使用 Spark SQL 进行排序。2. 全局排序使用「Spark&nbs[阅读全文:]

行转列
文档创建者:Roxy      创建时间:11-24 11:36      标签:      编辑:11次    |   浏览:5339次

摘要:1. 概述[helpvideo]5449[/helpvideo]1.1 版本说明版本功能变动4.0.15-1.2 应用场景行转列可将一维表转成二维表。一维表也常称为流水线表格。一般有固定的列名,平常输入[阅读全文:]

字符串清洗
文档创建者:Roxy      创建时间:06-07 16:42      标签:      编辑:2次    |   浏览:973次

摘要:1.概述1.1 预期效果用户有时需清洗掉数据中的一些不需要的字符。例如,括号型(负数),特殊货币符号(¥),千分位(数值型自带千分位)等,如下图所示:1.2 实现思路先用 left 函数截取第一位返回值[阅读全文:]

缺失值处理
文档创建者:Roxy      创建时间:06-07 16:08      标签:      编辑:1次    |   浏览:855次

摘要:1. 概述数仓需要接收来自不同源的大量数据,数据之间可能存在格式、口径、数值上的差异。因此不可避免会出现缺失数据,本文介绍如何对缺失值进行处理。示例数据:internet_v.xls2. 删除缺失值如果[阅读全文:]

XML解析算子
文档创建者:Roxy      创建时间:09-08 15:18      标签:      编辑:20次    |   浏览:3661次

摘要:1. 概述1.1 版本FineDataLink 版本功能变动4.0.9新增「XML解析」算子,可以将输入的 XML 数据解析为行列形式的数据1.2 应用场景对于 API、WebService、OData[阅读全文:]

数据去重
文档创建者:Roxy      创建时间:06-06 18:41      标签:      编辑:0次    |   浏览:1284次

摘要:1. 概述1.1 预期效果在搭建数据仓库时,可能需要对重复的脏数据进行去重,此时可以使用 SparkSQL 算子中的 GROUP BY 进行处理。例如:有的订单数据不小心触发了两次,一个订单有两个订单数[阅读全文:]

文件输入算子读取单个文件
文档创建者:Wendy123456      创建时间:05-25 11:24      标签:      编辑:2次    |   浏览:1449次

摘要:1. 概述文件输入 文档讲述了「文件输入」算子的基本功能,「文件输入」算子支持从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel 和 CSV 文件[阅读全文:]

每天获取Excel昨日新增数据导入数据库
文档创建者:Wendy123456      创建时间:04-19 15:53      标签:      编辑:4次    |   浏览:3015次

摘要:1. 概述1.1 预期效果Excel 数据表为源数据表,每天会新增数据,用户希望数据库中的某张表自动新增 Excel 里面昨天新增的数据。1.2 实现思路Excel 数据集作为要输入的数据,使用&nbs[阅读全文:]

JSONPath表达式
文档创建者:Wendy123456      创建时间:03-17 11:23      标签:      编辑:1次    |   浏览:5833次

摘要:1. 概述JsonPath 表达式可用于解析 JSON 结构的数据,官方 API 文档:https://github.com/json-path/JsonPath,本文仅为对英文官方文档的翻译。2. 基[阅读全文:]