摘要: 目的:把 "腾讯社招" 的每个分页的职位名称及链接、类型、人数、工作地点、发布日期爬取下来,然后存储到json文件里面 思路: 1. 新建爬虫项目 2. 在items.py文件里面设置存储的字段名称及类型 3. 在spiders文件夹里面设置爬虫文件 4. 设置管道文件 5. 设置settings. 阅读全文
posted @ 2018-07-11 19:04 silence-cc 阅读(734) 评论(0) 推荐(0) 编辑
摘要: 目的:获取 "腾讯社招" 这个页面的职位名称及超链接 职位类别 人数 地点和发布时间 要求:使用bs4进行解析,并把结果以json文件形式存储 注意:如果直接把python列表没有序列化为json数组,写入到json文件,会产生中文写不进去到文件,所以要序列化并进行utf 8编码后写入文件。 阅读全文
posted @ 2018-07-11 18:50 silence-cc 阅读(565) 评论(0) 推荐(0) 编辑