设为首页收藏本站 开启辅助访问
 找回密码
 立即注册

QQ登录

只需一步,快速开始

用新浪微博登录

只需一步,快速搞定

查看: 680|回复: 6

Kettle处理数据量大的时候内存溢出

[复制链接]

2

主题

3

帖子

44

积分

新手上路

Rank: 1

积分
44
发表于 2015-12-20 11:09:11 | 显示全部楼层 |阅读模式
Kettle处理数据量大的时候内存溢出,一个简单的表输入,查询,输出的结构
表输入的数据量大概有4亿左右,跑到3000W的时候,发生内存溢出

表输入的数据没有规则性,无法分类分批输入,而且是上游系统的表,只有读取权限,不能创建分区表、索引一类的

有没有办法手动的强制回收内存
楼主热帖

0

主题

17

帖子

92

积分

注册会员

Rank: 2

积分
92
发表于 2016-1-2 20:11:06 | 显示全部楼层
我也遇到过处理数据过程中内存溢出,但是调节一下kettle的内存,就可以了

0

主题

12

帖子

46

积分

新手上路

Rank: 1

积分
46
发表于 2016-1-4 22:08:27 | 显示全部楼层
同求解决方法啊。

0

主题

4

帖子

61

积分

注册会员

Rank: 2

积分
61
发表于 2016-5-21 11:07:13 | 显示全部楼层
这个简单 啊 。调节下参数就可以啦。。。。。。

0

主题

8

帖子

8

积分

新手上路

Rank: 1

积分
8
发表于 2016-6-24 14:12:13 | 显示全部楼层
可以修改启动参数试试。

1

主题

7

帖子

21

积分

新手上路

Rank: 1

积分
21
发表于 2016-7-25 15:09:44 | 显示全部楼层
a714714a2008 发表于 2016-1-2 20:11
我也遇到过处理数据过程中内存溢出,但是调节一下kettle的内存,就可以了

请问一下怎么解决?我设置了PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=2048m还是不行

10

主题

27

帖子

97

积分

注册会员

Rank: 2

积分
97
发表于 2016-12-13 16:51:23 | 显示全部楼层
我的解决办法是在数据库连接里添加参数,如mysql加useCursorFetch=true  defaultFetchSize=500
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋| Pentaho | Kettle ( 沪ICP备14044064号 )     

GMT+8, 2017-4-26 18:01 , Processed in 0.414968 second(s), 32 queries , File On.

Powered by Discuz!  uKettle

Copyright © 2014 Comsenz Inc.

快速回复 返回顶部 返回列表