设为首页收藏本站 开启辅助访问
 找回密码
 立即注册

QQ登录

只需一步,快速开始

用新浪微博登录

只需一步,快速搞定

查看: 474|回复: 1

[已解决] Kettle 无法全量导入DBF文件(数据量大)的问题,急求建议!

[复制链接]

1

主题

2

帖子

9

积分

新手上路

Rank: 1

积分
9
发表于 2017-1-2 15:07:33 | 显示全部楼层 |阅读模式
本帖最后由 jun10408 于 2017-1-2 15:07 编辑

      使用Kettle 导入DBF数据文件,落地到数据库表中;DBF文件数据量大概为1000W, 使用kettle读取每次只能取到100W。
使用的Kettle控件为XBase  ;基本排除了数据记录异常造成的问题,主要在XBase读取那一步时
是内存无法一次性读取1000w。想求大家给点建议怎么分页读取dbf文件,或者有没有其他好控件或者方案。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
楼主热帖

1

主题

2

帖子

9

积分

新手上路

Rank: 1

积分
9
 楼主| 发表于 2017-1-2 15:16:19 | 显示全部楼层
是JDK 版本问题,一开始使用的是jdk1.6, 版本太低, jdK 1.7优化java虚拟机内存分配,采用模块化的加载机制,有需要才会分配需要的内存空间,大大降低了出现内存不足的可能性,同时jdk1.7对垃圾回收也做了优化,提高了效率
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋| μKettle ( 沪ICP备14044064号 )     

GMT+8, 2017-10-21 00:08 , Processed in 0.173406 second(s), 22 queries , File On.

Powered by Discuz!  uKettle

Copyright © 2014 Comsenz Inc.

快速回复 返回顶部 返回列表