Dataworks数据同步问题
在一次定时调度的业务流程中,我的数据都已正常生成(可以在odps分区表中查到),离线同步节点执行完成后,数据库中缺不存在数据,返回Dataworks中查看日志,并没有报错信息。无奈只能手动重跑节点,还是没有报错信息并且数据并没有回流,重点是一条没有。
在查阅Dataworks文档和社区问答后得知,离线同步除了展示的日之外还有一个详细日志,日志中会给出链接,查询后果然发现报错信息,报错为字段长度超出限制,对比字段大小发现并没有超出数据库设置的长度。
过了一段时间有一批没有超出长度限制的数据被回流了进数据库,在仔细查看后发现有些字段的值有错位情况。回到离线同步配置中查看居然是字段映射出了问题,离线同步竟然默认是同行映射,而我们odps与数据库的字段顺序不一致,手动选择同名映射后重跑节点实例数据成功回流。