9 13308

三级采集问题

fascinate1898 于 2021-7-25 10:11 发表 [复制链接]
版主你好:
我的任务如下
1、采集列表
2、进入详情页,点击”视频详情“
3、抓取视频详情里的内容

我建了三个任务
1、列表采集任务:CMM的SKG列表采集
2、详情页”视频详情“点击任务:CMM的SKG列表采集
3、视频详情抓取任务:CMM的SKG列表采集

现在的问题是,列表采集和点击任务都能执行,但是抓取任务只抓了列表中第一个详情页中的视频内容就不抓了,没有形成循环。请问是哪里有问题呀,谢谢!
image.jpg
image.jpg
image.jpg







image.png
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2021-7-25 12:24

Fuller 管理员 发表于 2021-7-25 10:30:07 | 显示全部楼层
在第二级里面,为点击动作输入了一个“交互位置”xpath,这个xpath必须能够定位到每个被点击的视频,这样才能构成循环。不能只定位到第一个被点击的视频。

在dom结构树上面有一个输入框,把xpath输入到里面,点击右边的搜索按钮,测试一下这个xpath能不能逐个定位到所有被点击位置
举报 使用道具
fascinate1898 中级会员 发表于 2021-7-25 11:28:44 | 显示全部楼层
Fuller 发表于 2021-7-25 10:30
在第二级里面,为点击动作输入了一个“交互位置”xpath,这个xpath必须能够定位到每个被点击的视频,这样才 ...

不是太明白
我的第二级只是点击一个”视频详情“按钮
1W8`T9HEJXRU0]MOAU9(LFM.jpg PD(PB6IOBZ$%7T$FCH`5C2P.jpg

我不明白第二级的xpath怎么能定位到所有视频,你是说”视频详情“的这个xpath吗?
我的第二级可以实现按照列表逐个点开商品链接,再点击”视频详情“,一直到这里都还是没问题的,是第三级采集,只能抓取第一个链接里所有的视频,但是没办法抓第二个链接
Z19L(MNMU9TDR3M{3{{$)FR.jpg
1W8`T9HEJXRU0]MOAU9(LFM.jpg
举报 使用道具
maomao 论坛元老 发表于 2021-7-25 11:34:54 | 显示全部楼层
一个xpath对应到多个需要动作的节点,看看这个教程   https://www.gooseeker.com/doc/article-553-1.html

的1.4步, 虽然这里是悬停动作,但是关于Xpath的寻找和设置是一样的
举报 使用道具
fascinate1898 中级会员 发表于 2021-7-25 11:46:25 | 显示全部楼层
maomao 发表于 2021-7-25 11:34
一个xpath对应到多个需要动作的节点,看看这个教程   https://www.gooseeker.com/doc/article-553-1.html

...

给的例子的页面结构和我待采集的页面,结构是不一样的。悬停的例子是一个页面有20个商品,每个商品都有一个悬停位置,所以用偏好class就能定位到20个悬停位置,但是我要采集的页面结构,只有1个”视频详情“,而不是每个视频都要点一下视频详情才能采到。我只需要在打开的详情页里点一下视频详情,就能看到所有的视频的详情了。不需要每个视频都点一下。
现在的问题是,列表采集没问题,逐个打开列表里的链接,点链接里的视频详情也没问题,可是只能采集列表里的第一个网址的视频详情,然后第三级任务就停了,第一二级还在跑。然后第一级采完了列表也停了,就剩第二级还在不停的打开链接,点视频详情,再打开下一个链接,点视频详情。




举报 使用道具
fascinate1898 中级会员 发表于 2021-7-25 11:54:13 | 显示全部楼层
fascinate1898 发表于 2021-7-25 11:46
给的例子的页面结构和我待采集的页面,结构是不一样的。悬停的例子是一个页面有20个商品,每个商品都有一 ...

image.png
不是在第二步的循环打开、点击上出了问题
第二级的循环打开、点击实现了,可是第三级只采了第一个网址就结束了。然后第二级不停的打开网址、点击做循环,就是就再也不能唤起第三级的采集。所以最后只采集了第一个网址下的视频
举报 使用道具
maomao 论坛元老 发表于 2021-7-25 12:10:54 | 显示全部楼层
怎么知道再也不能唤起第三级的采集,第三级页面出现了吗?
举报 使用道具
fascinate1898 中级会员 发表于 2021-7-25 12:18:09 | 显示全部楼层
运行了1次就不运行了
image.jpg
举报 使用道具
fascinate1898 中级会员 发表于 2021-7-25 12:18:31 | 显示全部楼层
maomao 发表于 2021-7-25 12:10
怎么知道再也不能唤起第三级的采集,第三级页面出现了吗?

运行了1次就结束了
image.jpg
举报 使用道具
fascinate1898 中级会员 发表于 2021-7-25 12:24:47 | 显示全部楼层
maomao 发表于 2021-7-25 12:10
怎么知道再也不能唤起第三级的采集,第三级页面出现了吗?

出现过,不过不是由第二层级唤醒的,是我手动启动的。。。是不是问题出在这里,我不应该启动三个任务,而是只启动第一、第二级就可以了,第三级让第二级自己调动。

image.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 22:39