本帖最后由 ym 于 2016-6-17 14:43 编辑

常见问题 > 制作规则—常见问题导航 > 翻页 > 怎么把翻页抓取和层级抓取关联起来

例如两级规则,每一级规则都可以同时做翻页层级,两级主题之间是根据第一级规则设置下级线索的目标主题串联在一起,采数据时不会自动从第一级跳到第二级,需要分别运行采数据。
第一级如果有翻页的话,那么抓数据的时候,翻页采集的同时就会把采到的网址自动为下级规则生成线索,此时,就可以启动下级规则采集数据了。
翻页教程参考http://www.gooseeker.com/doc/article-89-1.html   
层级采集教程参考http://www.gooseeker.com/doc/article-75-1.html  
运行DS打数机教程参考http://www.gooseeker.com/doc/article-122-1.html

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2016-6-15 09:46

wwwxxx 初级会员 发表于 2016-6-12 17:31:07 | 显示全部楼层
翻页抓取完毕后,层级抓取依然只能抓一页的数据,请问如何将二者连接起来?
举报 使用道具
Fuller 管理员 发表于 2016-6-12 18:21:39 | 显示全部楼层
wwwxxx 发表于 2016-6-12 17:31
翻页抓取完毕后,层级抓取依然只能抓一页的数据,请问如何将二者连接起来? ...

我估计是两级规则之间主题名对不上。

定义第一级规则的时候,在爬虫路线工作台为第二级起名字,一定要与第二级的规则名一致。

另外,还要检查第一级运行是否成功了?
举报 使用道具
风景不在对岸 初级会员 发表于 2016-6-13 16:30:17 | 显示全部楼层
Fuller 发表于 2016-6-12 18:21
我估计是两级规则之间主题名对不上。

定义第一级规则的时候,在爬虫路线工作台为第二级起名字,一定要与 ...

规则名是对的,但是一直重复抓取第一页的内容,不会翻页
举报 使用道具
ym 版主 发表于 2016-6-13 17:37:49 | 显示全部楼层
风景不在对岸 发表于 2016-6-13 16:30
规则名是对的,但是一直重复抓取第一页的内容,不会翻页

没有执行翻页,说明翻页设置不适用,试试换另一种方式来翻页吧
举报 使用道具
风景不在对岸 初级会员 发表于 2016-6-13 18:16:25 | 显示全部楼层
好的,谢谢
举报 使用道具
wwwxxx 初级会员 发表于 2016-6-15 09:46:28 | 显示全部楼层
Fuller 发表于 2016-6-12 18:21
我估计是两级规则之间主题名对不上。

定义第一级规则的时候,在爬虫路线工作台为第二级起名字,一定要与 ...

谢谢,规则名对上就成功了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 02:34