Skip to content

使用dataX工具同步数据发现部分date类型的字段值在目标表中发生变化 #106

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom
Open
zhangrumi opened this issue Jun 14, 2018 · 4 comments
Open

使用dataX工具同步数据发现部分date类型的字段值在目标表中发生变化 #106

zhangrumi opened this issue Jun 14, 2018 · 4 comments

Comments

@zhangrumi
Copy link

两个GP数据库之间同步表数据，json文件配置的是select * from table_name，全字段同步。完成数据同步后，发现目标表中部分数据的生日字段（字段类型为date）字段值比源表中此字段值小一天，例如，源表中字段值为1989-05-11，同步后目标表中值变为1989-05-10，但又不是表中所有数据此字段值都发生变化，请问大家是否遇到过此问题，应该怎样排查原因？
@biansutao
Copy link

从你使用的writer源码来找一下原因。

@lxlzhj1989
Copy link

我也是从CSV 数据同步到MYSQL数据date类型少了一天。

@lxlzhj1989
Copy link

找到了问题，是因为datax/conf/core.json里面的时区配置和服务器不同导致的

@maoyu123xue
Copy link

我这边问题是ftp中间文件往hive中写，发现少数日期多一天，因为数据之前修复过，所以修复之前有多少日期有问题不清楚，修复方式是在datax的启动脚本，即bin目录的datax.py中加一个时区参数
vi /app/datax/bin/datax.py
...
DEFAULT_PROPERTY_CONF = "-Dfile.encoding=UTF-8 -Duser.timezone=GMT+8
...
然后如果把hdfswriter的日期字段类型改成string，可以顺利写进去且日期不会错，但是这个方式不好，公司的json都是自动生成的，修改成对不上的类型不合理

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
4 participants
@biansutao @zhangrumi @lxlzhj1989 @maoyu123xue