
定时管道功能目前处于内测阶段,如需试用请联系销售。
1. 概述
1.1 应用场景
当前开发者在对接标准平台时,面临云上应用数据源对接不准确、效率低、运维成本高的问题。希望提供一种快速、精准、低运维的对接方案,简化开发流程,提升对接效率。
1.2 功能简介
通过云上代理转发+解析方案,以定时任务方式对接应用数据源,简化数据获取流程,解决多源异构数据整合的问题,降低企业在数据开发环节的时效性成本,并提供统一的任务管理和监控,助力企业快速连接和使用分散在各系统/平台的数据,实现数据驱动的业务分析与决策。
1.3 功能亮点
亮点概述 | 详细说明 |
---|---|
丰富的数据源生态 | 定时管道支持读取和写入的数据源请参见:定时管道支持的数据源 |
向导式操作 | 无需代码,根据一些列简单步骤快速配置定时管道任务。 |
自动重试&断点续传 | 提供 失败重试 功能;定时管道任务每次运行成功后,定时管道任务中的增量表会更新断点位置,下次运行直接从最新的断点位置开始同步。如下图所示: |
封装调度逻辑 | 可为定时管道任务设置执行频率,详情请参见:定时调度 |
2. 索引
分类 | 简介 | 文档 |
---|---|---|
创建定时管道任务 | 讲述如何创建定时管道任务 如何为定时管道任务设置定时调度、结果通知、容错机制、日志等级 | 配置定时管道任务 |
定时管道任务示例 | 提供一个简单示例供用户了解定时管道功能 | 应用系统(云端)专题 |
单个定时管道任务管理 | 移动、重命名、删除管道任务 编辑、删除、运行定时管道任务 | 管理定时管道任务 |
介绍定时管道任务运行流程与状态 | 定时管道任务状态、表状态说明 | |
查看定时管道任务的配置详情、运行记录 | 定时管道任务配置/运行详情说明 | |
批量定时管道任务运维 | 可根据任务状态、任务名称、触发方式、是否有脏数据、是否有异常表、运行记录时间筛选运行记录,查看任务运行情况 | 定时管道任务运维-运行记录 |
可查看定时管道任务的配置信息,支持为定时管道任务设置定时调度、任务控制,支持编辑、删除定时管道任务 | 定时管道任务运维-任务管理 | |
权限 | 介绍管理员如何给用户分配定时管道的管理权限,使得用户可以「查看和编辑」定时管道任务 | 定时管道任务管理权限 |
超级管理员可以给予某个对象「定时管道」任务的授权权限,使该对象将成为一个次级管理员 次级管理员可以给下级成员分配「定时管道」的管理权限,使他下级的成员可以查看和编辑定时管道任务 | 定时管道任务授权权限 | |
日志 | 支持筛选定时管道的操作日志 | 平台日志 |
负载分配 | 支持调整定时管道模块的内存分配、并发控制 | 负载分配 |