设为首页收藏本站 开启辅助访问
 找回密码
 立即注册

QQ登录

只需一步,快速开始

用新浪微博登录

只需一步,快速搞定

查看: 1872|回复: 57

【干货、精华】利用jenkins结合kettle做循环爬虫演示

  [复制链接]

8

主题

50

帖子

456

积分

中级会员

Rank: 3Rank: 3

积分
456
发表于 2016-9-1 20:26:37 | 显示全部楼层 |阅读模式
本帖最后由 guess_l 于 2016-9-5 00:01 编辑

上一次利用Kettle做了爬虫的简单演示,然而爬虫避不开的就是循环,然而这类循环又是kettle的硬伤
那么这一次我们更加进一步,利用jenkins循环以及kettle内部循环做一次循环的爬虫演示

作业图如下:
说明:单独调用这个作业一次,就可以爬50页的帖子,50可以自己设置。

然后我们利用jenkins多次调用这个作业,那么就是50 50的增长。

jenkins的设置如下,重点就是构建后又调用本身,实现无限循环。ps:jenkins认为这个循环依赖是个bug,可能在未来的版本处理,可能是强制不允许保存或者提醒。详见:https://issues.jenkins-ci.org/browse/JENKINS-6338,但是对于我们需求来说,这个不算bug。。。。正式我们需要的!!!

截止到发帖前,已经循环jenkins作业40次,那么kettle里面就是2000次,就是kettle爬了2000个页面,每个页面大概20个帖子,那么就是爬了40000个帖子!!

后续:做好这个作业之后,下班21:00我就走了,开着一直运行,直到凌晨3点,错误退出,一共运行jenkins作业426次,kettle循环21300次,一共爬得帖子426000,可喜的的是,退出的原因不是因为内存溢出哦,是http获取超时,应该是网站管理发现了异常,所以不给爬了导致。相信在这之前没人能把kettle的循环做到这么大的次数吧?后面我也经过测试,把kettle内部循环次数加大,单纯用kettle循环,运行到中途就会报错退出;然后我把kettle循环调小,在jenkins中嵌套循环,总循环次数一样的情况下,两者都没有报错退出,可见利用jenkins可以有效辅助kettle实现循环不溢出
可以进一步探索的地方:1.下一页获取 (这个其实很简单,正则获取下一页的地址,存在变量,下一次循环就用这个地址。)  2.简单反爬虫网页的处理,HTTP客户端协议头的信息的完善。模拟人为操作。 3.另外网友提到cookies的处理?(哈哈本人不是爬虫专家,不知道这些情况,高手可以举个例子来试试,欢迎分享)
下面就上个kettle文件
回复可见哦 建议不要用数据库资源库方式循环运行kettle作业
游客,如果您要查看本帖隐藏内容请回复






本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
楼主热帖

47

主题

620

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
11692
发表于 2016-9-1 21:55:14 | 显示全部楼层
kettle自身的循环,确实比较烦,这个如果能解决循环问题,应该很牛逼的。值得深入研究一下,谢谢分享,很赞,学习了

0

主题

1

帖子

4

积分

新手上路

Rank: 1

积分
4
发表于 2016-9-1 23:45:42 | 显示全部楼层
好东西啊
回复

使用道具 举报

0

主题

2

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2016-9-2 09:00:18 | 显示全部楼层
新手求教
回复

使用道具 举报

0

主题

7

帖子

44

积分

新手上路

Rank: 1

积分
44
发表于 2016-9-2 09:01:25 | 显示全部楼层
还不知道怎么用jenkins

0

主题

1

帖子

12

积分

新手上路

Rank: 1

积分
12
发表于 2016-9-2 09:06:29 | 显示全部楼层
好东东,已收藏。谢谢楼主!

0

主题

4

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2016-9-2 09:22:47 | 显示全部楼层
kankan ~~
回复

使用道具 举报

3

主题

17

帖子

87

积分

注册会员

Rank: 2

积分
87
发表于 2016-9-3 07:43:44 | 显示全部楼层
学习下
回复

使用道具 举报

0

主题

2

帖子

8

积分

新手上路

Rank: 1

积分
8
发表于 2016-9-5 07:39:11 | 显示全部楼层
新手求看
回复

使用道具 举报

3

主题

10

帖子

125

积分

注册会员

Rank: 2

积分
125
发表于 2016-9-5 10:03:35 | 显示全部楼层
不错
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋| μKettle ( 沪ICP备14044064号 )     

GMT+8, 2017-8-18 09:22 , Processed in 0.321432 second(s), 20 queries , File On.

Powered by Discuz!  uKettle

Copyright © 2014 Comsenz Inc.

快速回复 返回顶部 返回列表