因为微博工具箱暂时无法满足项目对于数据的需求,自己做了一个微博关键词爬取的规则,使用相同规则、相同线索,通过新版本客户端(8.6.4)的单搜和旧版本客户端(8.6.0)的爬虫群功能均能实现完整地爬取,但是使用新版本客户端的爬虫群功能爬取时却出现线索页面显示不全、翻页不全的问题,请问这是什么原因造成的?
|
-
捕获.PNG
(27.77 KB, 下载次数: 755)
完整数据
-
捕获.PNG
(5.13 KB, 下载次数: 776)
使用爬虫群得到的数据,只有第一页内容
-
捕获.PNG
(16.92 KB, 下载次数: 784)
页面显示不完整
|
|
|
|
共 6 个关于本帖的回复 最后回复于 2020-11-25 15:45