历史版本7 :管理系统FAQ 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:


问题
解决方案


话说平台可以运行任务的数量跟什么有关管道任务数量和任务运维那里分配的内存有关,逻辑是内存/1024向下取整,比如2049/1024就是可以运行两个任务

那定时呢

如果我不是在一个任务中并行的处理多张表,而是分成多个任务,然后调度定时执行,会不会也有并发产生的资源和连接数的风险

定时任务的实际上没有运行数量的限制,但是有一个任务并发数的问题存在这个可以修改但是默认的和服务器有关

您好,我这边确认了一下,FDL 的 ETL 任务并发数默认是 CPU 线程数的 1/2 ,如果您机器的CPU线程数是8,那FDL每次最多并发运行4个ETL任务数。其它的节点会排队等待,是不会造成数据汇集库的资源锁的。您看这样可以解决您的问题吗?

如果任务突然断了 会有一个记录的 然后备用服务器直接从那个记录开始继续执行目前FDL的数据管道如果FDL的服务器挂了,但是Kafka正常运行的话,也会有个断点,服务器启动后可以接着续传,但是定时任务没有,只能用比对字段或者清空目标表去恢复任务

数据库环境准备

管道任务配置


管道任务运维

管道任务报错

问题
解决方案
启动管道报错不是ARCHIVELOG模式必须要开启