爬取拉勾网职位信息
https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=py
https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=
分析思路:
1.看了job_detail的网页源码代码发现全是是在静态页面里面,使用requests和xpath就能完成,即访问
https://www.lagou.com/wn/jobs/11748362.html?show=441ad9eea5ca4095b1a65d6cbcb4620d,但是11748362 不容易获取
2.page页面获取detail_url,发现 a class="position_link" href="https://www.lagou.com/wn/jobs/{{item.positionId}}.html?show={{extra.showId}}" target="_blank" data-index="{{i}}" data-lg-tj-id="8E00" data-lg-tj-no=" href 是动态加载