53 53240

微信数据采集攻略

shenzhenwan10 于 2016-12-29 15:26 发表 [复制链接]
zhu94413523 中级会员 发表于 2019-11-13 18:09:40 | 显示全部楼层
我搜索代餐,然后每次抓取抖只能抓到100条,是什么原因呢(页数也选择了全部),另外抓取出来的100条,很多都是没有文章链接的
举报 使用道具
ssguoshunli 初级会员 发表于 2020-2-25 17:41:03 | 显示全部楼层
为什么复制过来的网址粘贴不上?
举报 使用道具
Fuller 管理员 发表于 2020-2-25 18:31:27 | 显示全部楼层
ssguoshunli 发表于 2020-2-25 17:41
为什么复制过来的网址粘贴不上?

往哪里黏贴不上?有什么现象?
举报 使用道具
ssguoshunli 初级会员 发表于 2020-2-25 23:18:37 | 显示全部楼层
Fuller 发表于 2020-2-25 18:31
往哪里黏贴不上?有什么现象?

已经解决,谢谢,但是面临一个问题,采用微信文章列表采集,采集下来的链接网址大部分为空,无法进行下一步的微信文章详细内容采集


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
wangyong 版主 发表于 2020-2-26 10:03:48 | 显示全部楼层
微信公众号的链接通过列表页无法采到真实的详情网址,目前真实的网址只有人工在列表页点击详情页后,生成的链接才是有效的,另外这个网址也有时效性,两个小时后就无法访问了
举报 使用道具
wangyong 版主 发表于 2020-2-26 10:06:56 | 显示全部楼层
通过飞掠模式,爬虫可以自动点击详情并采集详情里的页面信息,但是微信反爬很严重,通过这种方式很快也会出现验证码
举报 使用道具
Fuller 管理员 发表于 2020-2-26 10:13:26 | 显示全部楼层
wangyong 发表于 2020-2-26 10:06
通过飞掠模式,爬虫可以自动点击详情并采集详情里的页面信息,但是微信反爬很严重,通过这种方式很快也会出 ...

飞掠模式要购买旗舰版才行
举报 使用道具
nl86007 新手上路 发表于 2020-3-21 19:04:27 | 显示全部楼层
可以只采集微信公众号和ID号吗?
举报 使用道具
Fuller 管理员 发表于 2020-3-22 09:58:29 | 显示全部楼层
nl86007 发表于 2020-3-21 19:04
可以只采集微信公众号和ID号吗?

这个攻略写的比较早,微信公众号的内容能采集到的越来越少了,ID肯定是采集不到的
举报 使用道具
nl86007 新手上路 发表于 2020-3-23 23:08:15 | 显示全部楼层
Fuller 发表于 2020-3-22 09:58
这个攻略写的比较早,微信公众号的内容能采集到的越来越少了,ID肯定是采集不到的
...

哦。太可惜了!

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 12:36