翻页标志为“显示更多”，抓取的内容都相同

任务名为“yingwei1”，使用一般翻页规则抓取时，抓取的结果都是重复的， 请帮忙，谢谢

我这里看网页上没有“显示更多”，有“下一页”

gz51837844 发表于 2024-2-23 16:05
我这里看网页上没有“显示更多”，有“下一页”

要勾选一下左侧导航栏的农业，就变成显示更多，麻烦您帮忙看下，谢谢

anwuyue 发表于 2024-2-24 11:36
要勾选一下左侧导航栏的农业，就变成显示更多，麻烦您帮忙看下，谢谢

如果还要勾选一下，那么在这个任务之前再定义一个任务，用一个点击动作负责勾选

anwuyue 发表于 2024-2-24 11:36
要勾选一下左侧导航栏的农业，就变成显示更多，麻烦您帮忙看下，谢谢

在做规则前，你点击了一下左侧导航栏的类别: 贵金属或农业，然后页面翻页样式变成了“显示更多”
保存规则后在运行抓取时，你的规则并不会自动点击左侧导航栏的类别，所以页面上仍然是“下一页”，这样翻页应该是失败的。
你可以新增一个规则(比如叫yingwei-pre)，这个规则里定义一个点击左侧导航栏的类别的动作，动作后执行的规则是原来的yingwei1:

定义连续动作的教程参考：https://www.gooseeker.com/tuto/tutorial.html

我做测试翻页是可以的。不过每次“显示更多”执行后，页面上的数据包含上一页的数据。如果全部xml结果文件入库，会有重复的。所以对于每个类别来说，执行完成后，手工把最后生成的那个最大的xml文件入库就可以了，或者全部入库导出excel后在excel里去重：

这2个规则，执行时执行第一级规则yingwei-pre就可以了，第二级规则yingwei会自动执行的

gz51837844 发表于 2024-2-24 17:13
这2个规则，执行时执行第一级规则yingwei-pre就可以了，第二级规则yingwei会自动执行的
...

好的，谢谢耐心回复