317 Star 2.3K Fork 830

AE86 / DBSyncer

 / 详情

增量同步重试机制

已完成
创建于  
2022-07-26 15:14

目前增量同步分为两段:
1)读出变更->数据处理->写入缓冲
2)读缓冲->写入目标数据源。
目前在1)出错时会不断重试,2)失败时会直接失败
在实际使用时1)有可能出现某一条数据在相当长的时间内无论如何也重试不好的情况,比如dql情况下查库出错或者插件转换时有bug等。如果一直保持重试会阻塞后面的变更,比较危险。
2)失败的数据可能只是由于目标数据源短暂不可用,目前只要是写失败就没办法再触发重试了。

比较理想的情况:1)2)都能够指定重试的次数和间隔,多次重试后最终失败的也能够通过手动触发方式再次重试。

一些其他想法:增量存在顺序,非dql重试可能要考虑合并后来数据,比较难搞。可以先考虑dql的增量,因为dql是每次通过sql取最新的数据,比较好做一些。

评论 (1)

square-knight 创建了任务
square-knight 添加了
 
enhancement
标签
AE86 任务状态待办的 修改为进行中
AE86 优先级设置为主要
AE86 置顶等级设置为
展开全部操作日志
AE86 任务状态进行中 修改为已完成
AE86 置顶等级 修改为不置顶

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(2)
376718 ghi 1660456020 1546530 github 18032717 1663206346
Java
1
https://gitee.com/ghi/dbsyncer.git
git@gitee.com:ghi/dbsyncer.git
ghi
dbsyncer
DBSyncer

搜索帮助