网页数据不一致:难以从页面源代码获取实时数据
在网络爬取过程中,遇到了这样一个问题,网页源代码中显示的申请人数和浏览人数始终为 0,而页面上实际显示的数据却在实时更新,且与浏览器 F12 中的 Elements 中的内容一致。
针对这种情况,想要爬到申请人数和浏览人数,需要采取特殊的方式。
解决方案:请求统计数据地址
通常,网站会记录有关职位信息的统计数据,包括申请人数和浏览人数。我们可以直接向网站发送请求,以获取这些统计数据。
对于 58 同城的这个职位页面,统计数据地址为:
https://statisticszp.58.com/position/totalcount/?infoId=27988...