1)用户在搭建数仓时希望关联 Excel、csv 等文件数据进行业务分析;
2)希望将加工后的数据以文件形式分享使用、以文件形式进行数据归档;
3)文件数据流传输归档:将简道云/API接口中的附件做数据归档,下载附件同步至FTP服务器或本地或其他业务系统(API接口);
本文将全面的介绍各种对接文件数据源的情况,帮助用户更好的解决问题。
FTP 服务器上的文件不定期自动更新,每次通过新建文件更新数据。用户希望自动读取这些文件的所有信息并将信息存储到数据库表中。
文件输入 算子+参数实现。
「文件输入」算子每天读取新增的文件数据,将数据同步到数据库表中。
读取多个同格式的 Excel 和 CSV 文件,并自动汇总到一张数据表
将 XML 文件放置在 FTP 环境或者 FineDataLink 工程的 webroot 下;
然后使用 API输入功能,访问 XML 文件,并使用 XML解析算子将数据解析数据并落库。
想要将数据库系统数据处理后输成文件类型数据,便于以文件形式直接查看使用,或者进行数据存档。
使用「shell 脚本」节点和「文件输出」算子:
「文件输出」算子将处理后的数据按照行数拆分为多个文件。
「shell 脚本」节点,每次只保留最新的拆分文件,将上一次生成的文件打包压缩备份起来,且只保留近 7 天的压缩文件。
文件数据流传输归档、移动备份
注:仅对文件流本身做同步,而非取文件内容数据。
1)使用简道云输入算子将附件/图片 URL 数据取出,然后使用 json 解析取出附件对应的 URL,并将其设置为参数。
2)循环容器传参 URL 循环取数取出附件,并设置「文件去向」,填写 FTP/SFTP/本地服务器作为上传文件路径,即可将附件上传至指定服务器或者业务系统。
想要将 FTP/SFTP服务器/本地FineDataLink 工程中的文件输出至指定的业务系统 API 接口。
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙