使用dataX工具同步数据发现部分date类型的字段值在目标表中发生变化 #106
Description
两个GP数据库之间同步表数据，json文件配置的是select * from table_name，全字段同步。完成数据同步后，发现目标表中部分数据的生日字段（字段类型为date）字段值比源表中此字段值小一天，例如，源表中字段值为1989-05-11，同步后目标表中值变为1989-05-10，但又不是表中所有数据此字段值都发生变化，请问大家是否遇到过此问题，应该怎样排查原因？
Metadata
Metadata
Assignees
Labels
No labels
Type
Projects
Milestone
Relationships
Development
No branches or pull requests
Participants
Activity
biansutao commentedon Jun 15, 2018
从你使用的writer源码来找一下原因。
lxlzhj1989 commentedon Jun 14, 2019
我也是从CSV 数据同步到MYSQL数据date类型少了一天。
lxlzhj1989 commentedon Jun 14, 2019
找到了问题，是因为datax/conf/core.json里面的时区配置和服务器不同导致的
maoyu123xue commentedon Apr 24, 2024
我这边问题是ftp中间文件往hive中写，发现少数日期多一天，因为数据之前修复过，所以修复之前有多少日期有问题不清楚，修复方式是在datax的启动脚本，即bin目录的datax.py中加一个时区参数
vi /app/datax/bin/datax.py
...
DEFAULT_PROPERTY_CONF = "-Dfile.encoding=UTF-8 -Duser.timezone=GMT+8
...
然后如果把hdfswriter的日期字段类型改成string，可以顺利写进去且日期不会错，但是这个方式不好，公司的json都是自动生成的，修改成对不上的类型不合理