摘要:1、概述数据管道 支持数据源的类型如下所示：1）通过 BINLOG 模式同步 MySQL数据库。2）通过 Oracle LogMiner 模式同步 Oracle数据库。3）通过 CDC 模式同步 SQL[阅读全文:]

摘要:数据管道是FineTube中的重要模块，旨在提供稳定、高效的数据同步功能。1、背景面对各行各业对数据的应用，数据处理会有很多的需求，其中包括能够快速配置大量数据表的原样同步任务，能够满足数据实时同步的时[阅读全文:]

摘要:支持的数据源类型、版本、以及技术如下所示：数据源类型数据源作为数据源是否支持增量技术增量实现技术作为目的地结构化数据库Oracle√√CDC支持：9i~11gLogminer：9i ~ 12c√SQL[阅读全文:]

摘要:1、JVM内存修改当遇到FineTube内存不足时，需要调整其内存。Windows或者Linux环境下，进入FineTube安装路径下，找到FineTube.vmoptions文件，修改Xmx值的大小即[阅读全文:]

摘要:1、算子配置大小写敏感FineTube中流任务算子中，配置均区分大小写。比如上个算子中的字段名是CODE，在下一个算子中需要引用该字段，采用$.code，在报错信息中会提示找不到字段，需要采用$.COD[阅读全文:]

摘要:1、背景一句话背景总结：需要对业务系统数据进行实时监控实际应用场景：1、在双十一，黑色星期五这种购物节日时，商家往往会做出各种各样的活动进行促销。这时候会产生各种各样的问题，通过微信、云闪付APP、电话[阅读全文:]

摘要:1、功能简介为满足客户的新需求以及完善之前版本某些功能的不足之处，我们的产品在不断地更新迭代。若需要修复之前产品的一些问题，以及体验新功能，则需要升级到最新版本。若需获取新版jar包、新增功能依赖jar[阅读全文:]

摘要:方法一：任务配置图如下：一、生成记录，作为假入口。二、json生成器，在json生成器里写好访问接口时的筛选条件。三、HTTP Client，访问简道云接口，在header里写好APIKey，[阅读全文:]

摘要:测试测试测试[阅读全文:]

摘要:数据编排中，流任务的新建，分为基础信息、流程设计、全局参数、执行计划、异常处理、消息提醒、运行监控七部分，其中带*号的为必填项。1、基础信息此页面显示任务名称、任务分组、以及备注2、流程设计1、通过将左[阅读全文:]

摘要:1、版本版本编号：2.3.8发布日期：2022-4-222、新增的功能数据管道867/8576数据管道任务目的地端，支持Oracle数据库的输出。3、修复的bug数据管道854- 在某些情况下[阅读全文:]

摘要:1、版本版本编号：2.3.7发布日期：2022-3-212、改良的功能数据管道8552管道任务初始化时全量部分不经过Kafka队列Kafka Topic 设置是默认 10GB，某些场景下，客户的单表可能[阅读全文:]

摘要:1、常规硬件推荐配置组件型号要求服务器台数CPU32核 主频2.0GHz以上，L3缓存20MB以上1台内存32GB内联网卡10Gb（万兆网卡）最低配置 1Gb（千兆网卡） 外联网卡1Gb（千兆[阅读全文:]

摘要:1、概览1.1 应用场景希望从应用的API接口获取数据，同步到数据库。该篇案例以简道云API接口为例，获取简道云的组织架构表。若是其他应用API，需要查看其API开发手册规范。参考文档：① 简道云的AP[阅读全文:]

摘要:1、概述以管理员身份进入FineTube平台，选择管理系统>注册管理，在「注册信息」下显示已注册模块，如下图所示：若未购买进行注册，在版本注册处则显示"未注册"。2、未注册限制[阅读全文:]

摘要:此页面为大家简单介绍关于FineTube全功能模块的页面及功能，详细请参考模块介绍。1、首页——工作台2、数据管道数据管道任务列表，以及新的管道任务创建入口。3、数据编排数据集成分为四个部分：数据流任务[阅读全文:]

摘要:1. 概述1.1 预期效果将数据库中的数据，一次性全量推送到简道云表单数据中1.2 实现思路①数据库表中 有主键，将唯一数据传到简道云表单。② 新增的简道云表单的数据，将简道云中特有的dataId传回给[阅读全文:]

摘要:1、概述1.1 预期效果希望在 数据库表中的数据 增删改的时候，同步到简道云表单中。1.2 实现思路① 数据库表中 有主键，将唯一数据传到简道云表单。② 新增的简道云表单的数据，将简道云中特有的data[阅读全文:]

摘要:此篇文档将为您提供FineTube关于简道云的快速导航帮助！问：如果我希望将某个简单云表单的数据一次性同步到数据库该怎么操作？答：请看这里哦~表单数据一次性全量推送到数据库问：如果我希望将简道云表单新增[阅读全文:]

摘要:1、版本版本编号：2.3.62、数据管道编号现象建议方案7398当Kafka停掉之后，管道任务停止时可能出现长时间阻塞。遇到此类情况，建议检查Kafka的状态是否正常。8091创建任务中途，返回基本配置[阅读全文:]

摘要:1、版本版本编号：2.3.6发布日期：2022-1-212、新增的功能数据管道8163管道任务支持重新同步存量数据在使用管道任务进行批量表实时同步过程中，由于源库日志解析效率、源库与目标库负载、稳定性等[阅读全文:]

摘要:1、概述1.1 期望效果简道云的某个表单的新增的数据可以实时同步到数据库中。1.2 配置流程① 在数据服务中创建 API服务用来接收数据② 在简道云应用中配置对应的数据推送功能③ 通过数据集成[阅读全文:]

摘要:1. 概述1.1 版本FineTube版本2.0、2.31.2 功能简介本地机器信息认证是最常见的认证方式，操作简单，十分方便。FineTube所在服务器的物理信息固定，用户通过导出 rif[阅读全文:]

摘要:1、版本版本编号：2.3.4发布日志：2021-12-132、数据管道编号现象建议方案7395某些情况下，管道任务的数据源为SQL   Server CDC时，任务出错时，一个异常在日志中会记[阅读全文:]

摘要:1、版本版本编号：2.3.4发布时间：2021-12-13关于产品的升级说明，请参考 产品升级说明。2、新增的功能数据管道8163管道任务支持重新同步存量数据在使用管道任务进行批量表实时同步过[阅读全文:]

摘要:1. 概述1.1 版本Finetube版本JAR 包版本App 版本2.02020-11-101.2 预期效果从数据库中取出本月销售额并通过企业微信群机器人推送到财务群1.3 实现思路通过表输入组件从数[阅读全文:]

摘要:1、背景在简单介绍完API入门之后，会有更加场景化的需求，接下来将针对 API数据发布 中的 附录 API接口文档进行细化补充。2、场景2.1 分页参数注意：结果集必须是有序的，才能保证多次访问的结果是[阅读全文:]

摘要:1. 概述FineTube 是帆软软件有限公司推出的一款低代码/高时效的企业级一站式数据集成产品。2、产品定位FineTube 快速连接、高时效融合各种数据，解决企业中数据孤岛问题。并提供低代码Data[阅读全文:]

摘要:1、背景XML和 JSON 是现今互联网中常用的两种数据交换格式，两种格式都可以进行网络数据交换，数据存储，配置文件，但由于两种文件不同的优缺点，XML主要用于配置文件，JSON主要应用于网络数据交换。[阅读全文:]

摘要:准备工作与简道云实时同步数据库一致，简道云表单数据实时同步到数据库，推送企业微信机器人任务配置图如下：一、kafka输入选择对应的数据服务topic。二、json格式化初步解析，准备过滤脏数据条件。三、[阅读全文:]

摘要:1、版本版本编号：2.3.3发布时间：2021-10-25关于产品的升级说明，请参考 产品升级说明。2、新增的功能数据编排7429  FT的数据编排支持DB2增量同步在海量[阅读全文:]

摘要:1、版本版本编号：2.3.3发布时间：2021-10-252、数据管道编号现象建议方案7339如果数据源变化策略是【继续同步，目的地该字段传空值】，数据管道同步的源表字段被删除时，且目标表的此字段为no[阅读全文:]

摘要:1、背景企业需要将数据的价值最大化，其中重要的一步就是各个应用间的数据共享，API为此提供了技术基础，可以使不同的应用程序之间实现使用彼此的某一个或某些功能，调用彼此的程序数据。FineTube数据服务[阅读全文:]

摘要:API管理包含创建服务、创建API接收数据、创建API发布数据准备模块准备好的数据。1、创建服务① 创建服务② 填写服务名称③ 保存创建的服务④ 针对API服务，出于安全策略考虑，还可进行IP的黑白名单[阅读全文:]

摘要:FineTube还提供了API监控台，可以查看API被调用的性能情况，以及对应调用的IP地址。[阅读全文:]

摘要:对外提供数据的准备模块：创建业务包、创建数据集。1、创建业务包① 创建业务包：一般来说，一个模块会准备对应的一个业务包② 输入对应的业务包名称③ 保存：保存业务包的创建2、创建数据集数据集支持两种模式：[阅读全文:]

摘要:数据服务模块包含三部分：数据准备、API管理、API监控台数据准备：创建业务包、创建数据集，对外发布数据的数据准备模块。API管理：创建服务、创建API接收数据、创建API发布数据准备模块准备好的数据。[阅读全文:]

摘要:本文档会记录一些数据管道模块使用中的注意事项及解决方案。1、MySQL 数据库的 8.0.21、8.0.22、8.0.23 这些版本的元数据表有缺陷，会导致 FT 无法获取到正确的元数据，在创建数据管道[阅读全文:]

摘要:1、概述将业务系统Oracle的数据全库同步到 SQL Server 数据库，用于专门的数据分析。2、任务配置新建管道任务:  数据管道>管道任务>创建管道任务2.1基本[阅读全文:]

摘要:1、版本版本编号：2.3.2发布时间：2021-9-6关于产品的升级说明，请参考 产品升级说明。2、新增的功能数据管道7368  数据管道数据量比对功能 详情使用管道任务进[阅读全文:]

摘要:① 配置对应的目标库或者Schema。② 写入并发数：设置任务最高能同时写入的表数量；写入速率限制：每秒最大行数 和 最大流量限制。③ 表和名称字段：提供原表原样，以及规范大小写两种方式。④ FDLoa[阅读全文:]

摘要:①读取方式：数据管道任务目前仅支持基于日志的读取方式           MySQL: BINLOG 模式    &nbs[阅读全文:]

摘要:在基本信息页面，主要分为三大部分：①任务名称② 数据源③ 目标库数据连接信息，需要提前进行配置，若不存在，需要定义新的数据连接，请点击下拉框旁的添加按钮④和⑤，会跳转到 定义数据连接[阅读全文:]

摘要:1、背景企业需要将数据的价值最大化，其中重要的一步就是各个应用间的数据共享，API为此提供了技术基础，可以使不同的应用程序之间实现使用彼此的某一个或某些功能，调用彼此的程序数据。FineTube数据服务[阅读全文:]

摘要:典型场景对应功能点参考案例企业微信消息推送：多家公司采用的企业即时消息推送：可用于销售成单推送、内部协同消息推送等通过数据编排的输入类算子从数据库中取出对应的数据，由群机器人推送到指定群。从数据库抽取数[阅读全文:]

摘要:典型场景对应功能点参考案例API数据发布： 公司的IT部门，需要将目前的数据库中数据通过API的方式进行统一发布，供第三方进行使用，统一数据出口和管理。通过数据服务的API管理进行创建API用[阅读全文:]

摘要:典型场景对应功能点参考案例企业微信机器人交互敬请期待~简道云和数据库数据的双向交互敬请期待~[阅读全文:]

摘要:典型场景对应功能点参考案例实时大屏： XX公司的8万辆新能源车状态监控和轨迹地图；XX客服中心的电话接通情况监控大屏；通过数据集成的日志解析类算子，将系统的表数据，同步到MPP数据库，通过Fi[阅读全文:]

摘要:典型场景对应功能点参考案例全库数据增量/全量实时同步：XX客户需要实时全库同步mysql和oracle数据至FD数据仓库，三个数据源共一千多张表。通过数据管道完成两个数据系统间的同构/异构数据同步配置，[阅读全文:]

摘要:1、概述1.1 应用场景当用户希望将简道云应用中的所有表单一次性同步到数据库，便于后续分析，从而替代以往的单个表单逐一同步操作。1.2 配置流程在 管道任务中，选择数据源类型为【简道云】，配置[阅读全文:]

摘要:1、概览1.1 应用场景希望将简道云中的附件，下载到本地服务器对应的文件夹中。1.2 配置流程① 通过简道云表输入获取附件② 通过JSON格式化和HTTP Client组件，对文件名称以及路径进行解析③[阅读全文:]

摘要:此篇文档将会从算子角度对简道云的相关配置进行介绍~1、简道云输入1.1 APIKey开放平台目录下的密钥管理中的APIKey1.2 AppId和EntryId表单编辑状态下的扩展功能的 表单数[阅读全文:]

摘要:1、概述1.1 期望效果简道云的某个表单的全量数据一次性同步到数据库。1.2 配置流程① 在简道云输入中配置表单相关信息② 通过JSON格式化完成简数据库表输入2、配置步骤任务配置图如下：2.1 生成记[阅读全文:]

摘要:欢迎来到FineTube帮助文档！在这里，我们可以帮助 FineTube 的用户们更快的上手、更便捷的学习、更准确的定位问题。大家是否迫不及待的想要开始自己的旅程呢？别急，在使用帮助文档之前，我们将告诉[阅读全文:]

摘要:1、背景将业务系统的所有表数据，希望进行一次性快速原表原样同步，作为数据仓库的ODS层，便于后期的数仓搭建或者数据分析。2、预期效果将Oracle数据库中的所有表，原样同步到SQL Server数据库中[阅读全文:]

摘要:1[阅读全文:]

摘要:1、背景[阅读全文:]

摘要:1、所有标注为Beta的功能，为不推荐使用功能。[阅读全文:]

摘要:1 修改my.cnf打开或者新建mysql配置文件my.cnf（windows版本的是my.ini）linux版本的路径通常是/etc/my.cnf，windows的路径则在mysql安装目录的根目录下[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍从sqlserver数据库的cdc表中读取数据1.3 应用场景基于sqlserver的cdc技术实现sqlserver数据库的实时增量同步1.4[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍从常见的关系型数据库表中读取数据。例如：MySQL、SQLServer、Oracle、PostgreSql等1.3 应用场景同步数据库表数据到其[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍从oracle数据库的cdc表中读取数据1.3 应用场景基于oracle的cdc技术实现oracle数据库的实时增量同步1.4 消息格式输入格式[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍读取XML文件1.3 应用场景读取XML文件，输出一个XML格式的字符串，通常需要搭配一个XML格式化组件来解析1.4 消息格式输入格式：无输出[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍按行读取文本文件数据1.3 应用场景当文件不是标准的csv格式时，可使用文本文件输入组件读取1.4 消息格式输入格式：无输出格式：KVP1.5[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍读取csv文件数据1.3 应用场景读取csv文件数据并存入数据库1.4 消息格式输入格式：无输出格式：KVP1.5 配置项说明1.5.1 基本属[阅读全文:]

摘要:1 概述1.1 版本最早支持版本：V2.31.2 功能介绍生成指定条数的消息1.3 应用场景通常都用来作为一个任务流的入口1.4 消息格式输入格式：无输出格式：KVP1.5 配置项说明1.5.1 基本属[阅读全文:]

摘要:oracle数据库同步到简道云常见问题处理 1_1.pdforacle数据库同步到简道云操作指南1_1.pdf[阅读全文:]

摘要: 任务配置图如下：一、表输入，选择要推送到简道云的数据库表，配置字段。这里使用了全局参数，全局参数格式为：${{...}}。二、检测空流，作为任务停止的条件。三、if-else，判断是否为空流[阅读全文:]

摘要:一、部署环境准备java 环境，版本JDK1.8（必须是jdk环境，某些服务器自带的jre环境（如centos7）需要重新安装jdk1.8）mysql数据库zookeeper、kafka（如不使用数据服[阅读全文:]

摘要:1. 什么是Finetube？如果你使用过kettle，那么就很好理解什么是Finetube。Finetube是一款用于大数据平台建设的流式处理引擎，旨在满足各行各业大数据建设、管理及应用需求，它聚焦于[阅读全文:]

摘要: 1. 概述1.1 版本Finetube版本JAR 包版本App 版本2.02020-11-101.2 预期效果从数据库中取出个人销售额并通过企业微信应用推送到个人1.3 实现思路通过表输入组[阅读全文:]

摘要:1. 概述1.1 版本Finetube版本JAR 包版本App 版本2.02020-11-101.2 预期效果从http接口抽取书本数据到mysql数据表book中1.3 实现思路从http接口中抽取的[阅读全文:]