某直聘职位数据抓取

如果使用http模拟web请求，那么一定会得到以下结果：

那么接下来我们看一下网页的结构：

显然，每一条数据的结构都是由代码动态拼接完成的，那么我们接下来只需要找到生成的地方就好，首先我们要从搜索按钮下手。

我们只需要去搜索一下job_search_btn_click，就会有如下结果：

 

到这里，我们已经知道处理搜索业务的js文件路径，果不其然，在这里找到了，动态拼接的代码：

以下再调试一番，就可以找到最终发出搜索请求的代码处了。

访问一下https://www.zhipin.com/wapi/zpgeek/search/joblist.json，便可以看到我们搜索的职位信息了。

接下来和Selenium WebDriver结合，就可以将数据爬取入库了。