2018年6月23日
ruby 爬虫爬取拉钩网职位信息，产生词云报告
摘要： 思路：1.获取拉勾网搜索到职位的页数 2.调用接口获取职位id 3.根据职位id访问页面，匹配出关键字 url访问采用unirest，由于拉钩反爬虫，短时间内频繁访问会被限制访问，所以没有采用多线程，而且每个页面访问时间间隔设定为10s，通过nokogiri解析页面，正则匹配只获取技能要求中的英文单 阅读全文
posted @ 2018-06-23 17:45 掘屎男孩 阅读(642) 评论(0) 推荐(0) 编辑