1、抽取数据的机器和对外开放的机器 没有区分，会导致3台机器 抽取后抽取文件大小显示不同的数据； 2、抽取数据时，访问该工程的IO会变慢，容易发生堵塞； 3、还有一个疑问就是抽取数据时，是一个机器在抽取还是三个机器同时抽取、亦或者是不同的任务分布在不同的机器上抽取？（随机分布的吗） 我认为理想的状态就是 抽取数据的机器和对外访问的机器各司其职。。。
赞 0 踩 0 2023-11-03 14:48
目前的工作逻辑如下： 1）数据更新请求可以向所有节点均衡转发 2）数据集在某节点抽取完成后，会同步到其他同步节点，同步节点上的数据文件状态都保持最新 3）非同步节点本地不存储抽取数据，只做查询转发 4）查询请求也是向所有节点均衡转发
赞 0 踩 0 2023-12-06 14:03
假设使用的是nas存储，所有节点公用nas数据； 1）这时登陆节点1更新一个数据集，更新完成后，你会发现节点1和节点2 的显示文件大小是不一致，节点2的文件大小还停留在上次更新的文件大小；从这点可以看出应该是节点1抽取的数据；显示文件大小不一致这个问题是否正常？ 2）节点1抽取、节点2抽取（都存在大数据量同时抽取），同时也会有大量的查询请求，导致内存、CPU升高，不加干预，
赞 0 踩 0 2023-12-06 17:30
会宕机； 3，IO堵塞愿因宕机后，因为使用的是同一个nas盘，是否会影响其他节点正常访问、或者变慢？
赞 0 踩 0 2023-12-06 17:33
4 评论
1、抽取数据的机器和对外开放的机器 没有区分，会导致3台机器 抽取后抽取文件大小显示不同的数据；
2、抽取数据时，访问该工程的IO会变慢，容易发生堵塞；
3、还有一个疑问就是抽取数据时，是一个机器在抽取还是三个机器同时抽取、亦或者是不同的任务分布在不同的机器上抽取？（随机分布的吗）
我认为理想的状态就是 抽取数据的机器和对外访问的机器各司其职。。。
赞 0 踩 0 2023-11-03 14:48
目前的工作逻辑如下：
1）数据更新请求可以向所有节点均衡转发
2）数据集在某节点抽取完成后，会同步到其他同步节点，同步节点上的数据文件状态都保持最新
3）非同步节点本地不存储抽取数据，只做查询转发
4）查询请求也是向所有节点均衡转发
赞 0 踩 0 2023-12-06 14:03
假设使用的是nas存储，所有节点公用nas数据；
1）这时登陆节点1更新一个数据集，更新完成后，你会发现节点1和节点2 的显示文件大小是不一致，节点2的文件大小还停留在上次更新的文件大小；从这点可以看出应该是节点1抽取的数据；显示文件大小不一致这个问题是否正常？
2）节点1抽取、节点2抽取（都存在大数据量同时抽取），同时也会有大量的查询请求，导致内存、CPU升高，不加干预，
赞 0 踩 0 2023-12-06 17:30
会宕机；
3，IO堵塞愿因宕机后，因为使用的是同一个nas盘，是否会影响其他节点正常访问、或者变慢？
赞 0 踩 0 2023-12-06 17:33