设为首页收藏本站 开启辅助访问
 找回密码
 立即注册

QQ登录

只需一步,快速开始

用新浪微博登录

只需一步,快速搞定

查看: 564|回复: 6

有人用kettle做业务与数据迁移吗,transformation性能如何

[复制链接]

1

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2018-2-27 16:44:06 | 显示全部楼层 |阅读模式
场景:
金融、电信、电商等业务与数据迁移,老系统是别人的系统,新系统是我们的系统。因此,数据模型是不一样的。
我需要把老系统的关键数据转换为新系统的数据(做ETL)。关键数据有用户信息、订单信息、金额信息等。
但是我必须一晚上完成,尽量不影响终端用户的使用。
终端用户数大概在千万用户,需要迁移的数据表大概50张,每张表大概4、50字段,各数据表之间需要做一些关联查询、聚合分析等。

问题:
我想用Kettle来做数据迁移,但是我的疑问是kettle做transformation(转换)的性能如何,有人用kettle做业务与数据迁移吗?kettle能满足我的需求吗?

点评

海!外直播 t.cn/RxmJTrS 禁闻视频 t.cn/RJJZmv0 看了那个中国双胞胎弃婴被美国人分别收养后机缘巧合重逢的视频,感动了一会儿.然后就想,中国的对外贸易,最成功的可能就是卖孩子,第二个是租熊猫,第三个我想了半天,楞   发表于 2018-3-22 01:43
楼主热帖

1

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
 楼主| 发表于 2018-2-27 16:45:37 | 显示全部楼层
向各位大神求助,先谢了

0

主题

9

帖子

49

积分

新手上路

Rank: 1

积分
49
发表于 2018-3-2 16:51:17 | 显示全部楼层
可以的。我们项目都是用kettle做的,性能嘛,也要看sql和表结构设计吧

2

主题

8

帖子

57

积分

注册会员

Rank: 2

积分
57
发表于 2018-3-4 18:54:29 | 显示全部楼层
我之前在某金融公司做过数据移植,一部分转换复杂,经常需要修改数据转换方式,并且数据量少的数据可以用kettle,数据量大的历史交易数据我用的存储过程,希望可以为你提供参考

1

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
 楼主| 发表于 2018-3-29 18:36:38 | 显示全部楼层
1572587694 发表于 2018-3-4 18:54
我之前在某金融公司做过数据移植,一部分转换复杂,经常需要修改数据转换方式,并且数据量少的数据可以用ke ...

谢谢前辈

1

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
 楼主| 发表于 2018-3-29 18:37:01 | 显示全部楼层
jinyu 发表于 2018-3-2 16:51
可以的。我们项目都是用kettle做的,性能嘛,也要看sql和表结构设计吧

谢谢你提供的谢谢
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋| μKettle ( 沪ICP备14044064号 )     

GMT+8, 2018-8-18 00:35 , Processed in 0.064440 second(s), 18 queries , File On.

Powered by Discuz!  uKettle

Copyright © 2014 Comsenz Inc.

快速回复 返回顶部 返回列表