dongruimin 新手上路 发表于 2018-11-26 15:48:30 | 显示全部楼层
澎湃新闻网搜索某时间的评论,怎么采集出来?
举报 使用道具
Fuller 管理员 发表于 2018-11-26 16:25:55 | 显示全部楼层
dongruimin 发表于 2018-11-26 15:48
澎湃新闻网搜索某时间的评论,怎么采集出来?

发个网址出来看看
举报 使用道具
dongruimin 新手上路 发表于 2018-12-7 11:24:53 | 显示全部楼层
https://www.thepaper.cn/newsDetail_forward_2715122
下面有50条评论
举报 使用道具
Fuller 管理员 发表于 2018-12-7 12:36:30 | 显示全部楼层
dongruimin 发表于 2018-12-7 11:24
https://www.thepaper.cn/newsDetail_forward_2715122
下面有50条评论

我看了一下,往下滚屏的时候,更多评论就会加载出来,如果只有几十条,几百条,只要打开DS打数机的自动滚屏就行,在DS打数机的菜单上设置,配置-》滚屏参数,把滚屏次数设置成>0的数字,比如,10

如果特别多评论,那要用连续动作的滚屏,参看滚屏抓取瀑布流网页的教程

举报 使用道具
ssddsds 新手上路 发表于 2018-12-9 17:13:24 | 显示全部楼层
为什么大众点评抓取的字段不完整
举报 使用道具
Fuller 管理员 发表于 2018-12-10 08:53:16 | 显示全部楼层
ssddsds 发表于 2018-12-9 17:13
为什么大众点评抓取的字段不完整

快捷采集工具中有多个大众点评的采集工具,你用的是哪个?或者是你自己定义的规则吗?如果是自己定义的,把主题名发出来帮你诊断一下
举报 使用道具
ssddsds 新手上路 发表于 2018-12-11 17:05:50 | 显示全部楼层
Fuller 发表于 2018-12-10 08:53
快捷采集工具中有多个大众点评的采集工具,你用的是哪个?或者是你自己定义的规则吗?如果是自己定义的, ...

大众点评商家列表信息和商家评论快捷工具,都是电话和地址抓取不完整

举报 使用道具
Fuller 管理员 发表于 2018-12-11 18:43:47 | 显示全部楼层
ssddsds 发表于 2018-12-11 17:05
大众点评商家列表信息和商家评论快捷工具,都是电话和地址抓取不完整

...

大众点评网的地址和电话采集不了了,这个网站用了一种加密手段,爬虫采集不了
举报 使用道具
Montanchez 新手上路 发表于 2018-12-17 09:40:12 | 显示全部楼层
小红书的笔记列表页是否能采集?  如何获取到列表页的链接?
举报 使用道具
Fuller 管理员 发表于 2018-12-17 15:23:51 | 显示全部楼层
Montanchez 发表于 2018-12-17 09:40
小红书的笔记列表页是否能采集?  如何获取到列表页的链接?

发个网址出来看看吧,笔记列表页我从来没有试过
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-17 00:32