任务目标:循环自动输入城市名,采集不同城市空气质量信息
方法:一级规则采用连续动作,完成城市名的输入,二级规则实现数据的采集
过程:1.确定执行动作的key键,定为搜索图标的将span结点映射到key





         2.确定连续动作,动作1,输入四个城市名,动作2,提交





         3.确定数据采集规则,测试没有问题

存在问题:
在最后抓取数据的过程中,发现当规则输入不同的城市名时,页面能够正常刷新,最终只能取到第二个城市的数据。

请专家指教。
举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2016-9-12 09:35

沙发
Fuller 管理员 发表于 2016-9-9 10:10:16 | 只看该作者
我正在测试,看到输入兰州了,但是规则匹配失败

举报 使用道具
板凳
Fuller 管理员 发表于 2016-9-9 10:45:46 | 只看该作者

规则的适应性有些问题,这个网页上的DOM节点的class会变化,上图那个是xxxx-c1-xxxxx,有时候是xxxx-c2-xxxxx,修改定位偏好,选择偏好class,能够局部改善,我能生成一些抓取结果文件。

委实不行,可以在一个主题名下定义多个抓取规则,各自应对一种情况。DS打数机在运行的时候,会自动选择一个合适的
举报 使用道具
地板
HJLing 版主 发表于 2016-9-9 11:15:44 | 只看该作者
本帖最后由 HJLing 于 2016-9-9 11:57 编辑


xxxx-c1-xxxxx 的数字是递增的 无法穷尽
在样例复制之前套一个整理箱 做定位标志(要找不变的值) 如上图的整理箱结构 可以成功采集

举报 使用道具
5#
nusfwen 初级会员 发表于 2016-9-11 15:36:49 | 只看该作者
HJLing 发表于 2016-9-9 11:15
xxxx-c1-xxxxx 的数字是递增的 无法穷尽
在样例复制之前套一个整理箱 做定位标志(要找不变的值) 如上图 ...

我按照你所给的方法试了,还是不行啊
结果和前面的差不多。

tt-1.png (133.45 KB, 下载次数: 890)

tt-1.png
举报 使用道具
6#
nusfwen 初级会员 发表于 2016-9-11 15:38:04 | 只看该作者
HJLing 发表于 2016-9-9 11:15
xxxx-c1-xxxxx 的数字是递增的 无法穷尽
在样例复制之前套一个整理箱 做定位标志(要找不变的值) 如上图 ...

规则单独执行没有任何问题,就是不能连续动作执行。
举报 使用道具
7#
Fuller 管理员 发表于 2016-9-11 15:45:20 | 只看该作者
nusfwen 发表于 2016-9-11 15:38
规则单独执行没有任何问题,就是不能连续动作执行。

连续动作有什么现象?出现超时吗?
举报 使用道具
8#
nusfwen 初级会员 发表于 2016-9-11 17:06:03 | 只看该作者
Fuller 发表于 2016-9-11 15:45
连续动作有什么现象?出现超时吗?

抓取数据超时了,各城市之间的切换没有问题,就是抓取不到数据


举报 使用道具
9#
nusfwen 初级会员 发表于 2016-9-11 17:26:14 | 只看该作者
Fuller 发表于 2016-9-11 15:45
连续动作有什么现象?出现超时吗?


举报 使用道具
10#
Fuller 管理员 发表于 2016-9-11 20:07:23 | 只看该作者

请把爬虫软件的版本号告诉我。

另外,你尝试一下设置 定时器触发。DS打数机菜单 配置-〉定时器触发
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-19 07:48