本帖最后由 scraper 于 2016-12-30 17:06 编辑


【启动采集前的配置】

  • 预先登陆网站:是
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问知乎_关键词搜索结果列表_内容页面;
  • 输入一条网址,或者点击“输入多条网址”,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-3-1 18:49

Qduoduo 新手上路 发表于 2017-3-1 16:22:30 | 显示全部楼层
本帖最后由 Qduoduo 于 2017-3-1 16:45 编辑

有问题,总是出错
----纠正一下,不是报黄色错误。。。采集的数据发现不全,希望解答,谢谢。
举报 使用道具
scraper 论坛元老 发表于 2017-3-1 16:26:44 | 显示全部楼层
Qduoduo 发表于 2017-3-1 16:22
有问题,总是出错

有问题的都是你添加的网址不符合页面的要求 看清楚样本页面 找到对应的页面来添加网址

举报 使用道具
Qduoduo 新手上路 发表于 2017-3-1 16:38:31 | 显示全部楼层
scraper 发表于 2017-3-1 16:26
有问题的都是你添加的网址不符合页面的要求 看清楚样本页面 找到对应的页面来添加网址

...

每次只能采集到8条数据,我选了“全部”了,不是1页,但是我的数据不止1页,求解。
https://www.zhihu.com/search?type=content&q=极限特工3:终极回归

举报 使用道具
scraper 论坛元老 发表于 2017-3-1 17:33:28 | 显示全部楼层
Qduoduo 发表于 2017-3-1 16:38
每次只能采集到8条数据,我选了“全部”了,不是1页,但是我的数据不止1页,求解。
https://www.zhihu.co ...

我测试了可以导出16条数据 因为规则没有把专栏的也采下来只是采了问题的
你观察采集的时候是否正常点完全部数据 一共就4页

举报 使用道具
scraper 论坛元老 发表于 2017-3-1 17:53:26 | 显示全部楼层
Qduoduo 发表于 2017-3-1 16:38
每次只能采集到8条数据,我选了“全部”了,不是1页,但是我的数据不止1页,求解。
https://www.zhihu.co ...

修改规则了把专栏的也采下来了 测试了可以采全30条数据

举报 使用道具
Qduoduo 新手上路 发表于 2017-3-1 18:49:37 | 显示全部楼层
scraper 发表于 2017-3-1 17:53
修改规则了把专栏的也采下来了 测试了可以采全30条数据

多谢!我重新爬了,ok!

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 02:25