11#
gz51837844 管理员 发表于 2021-11-2 11:57:01 | 只看该作者
z417566919 发表于 2021-11-2 11:55
我的采集任务A是一级采集任务,启动采集之后,给任务B添加了很多条“待采集”网址条目,现在任务A设置周 ...

是的, 对于层级采集来说, 每一级任务是单独调度和单独采集的。
对于使用连续动作串起来的多个任务, 只需要对第1级任务进行调度。
举报 使用道具
12#
z417566919 中级会员 发表于 2021-11-2 13:06:23 | 只看该作者
gz51837844 发表于 2021-11-2 11:57
是的, 对于层级采集来说, 每一级任务是单独调度和单独采集的。
对于使用连续动作串起来的多个任务, 只 ...

那对于二级任务的B设置周期采集,是自动爬取“待采集”的,还是爬取所有的?包括“待采集”与“采集完成”的?
举报 使用道具
13#
gz51837844 管理员 发表于 2021-11-2 14:17:13 | 只看该作者
无论何时,爬虫采集时都是取”待采集“的网址。
对于不是”待采集“状态的网址, 如果任务设置了周期采集,系统到时间会自动激活网址,激活后的网址会被爬虫爬取
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 01:29