爬取腾讯社招职位信息
腾讯社招职位（多线程+线程池）
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
version_1
声明：本内容仅学习参考，如有侵权，将立即删除
<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
1、开发文档
域名：https://careers.tencent.com/search.html?index=1
返回数据：json
数据地址：https://careers.tencent.com/tencentcareer/api/post/Query?&countryId=1&pageIndex=1&pageSize=10&language=zh-cn&area=cn
数据地址分析：需要有countryId,area
要求：(1)招聘网站的中国地区职位名称、职位类别、招聘人数、工作地点、发布时间、以及每个职位详情的点击连接
分析：(1)formdata分析
0>method:get
1>关键字有：pageIndex,pageSize，timestamp
2>去掉pageIndex失效，相关参数
3>去掉pageSize失效，相关参数，默认为10，改写数字，返回相应数量数据，建议为默认值，构建获取api规则
4>去掉timestamp有效，非相关参数，有js生成，为时间戳，作用暂时未知，是否为反爬虫策略未知
5>countryId和area确定爬取的范围
(2)共有5573条中国地区职业数据
(3)headers分析
1>User-Agent，相关参数
2>referer:
https://careers.tencent.com/search.html?query=co_1&sc=1
https://careers.tencent.com/search.html?query=co_1&index=2&sc=1
https://careers.tencent.com/search.html?query=co_1&index=3&sc=1
相关参数，index=pageIndex，需要构建requests-headers分析
将referer和url一条一条对应起来村放入url_referer_queue中
3>cookie,因未登录即可浏览，可附带，但不是必须
4>初步设想:队列里按顺序存取，因此每个url对应一个refer，待验证
技术：(1)使用队列存取数据
(2)使用线程池处理线程，或可以用来请求json数据（待测试）>>>>>>>（因为使用了队列，故不需要）
(3)json存取,或可以保存为csv文件（待测试）
2、源代码
import requests from queue import Queue import json from threading import Thread from multiprocessing.dummy import Pool class Txsz(): def __init__(self): # 总共的数据条数 self.count = 5573 # 创建初始url self.start_url = "https://careers.tencent.com/tencentcareer/api/post/Query?&countryId=1&pageIndex={}&pageSize=10&language=zh-cn&area=cn" # 创建start_referer和second_referer self.start_referer = "https://careers.tencent.com/search.html?query=co_1&sc=1" self.second_referer = "https://careers.tencent.com/search.html?query=co_1&index={}&sc=1" """ 创建队列 self.url_queue存放url self.json_queue存放所有的json self.content_queue存放解析的内容 """ self.url_referer_queue = Queue() self.json_queue = Queue() self.content_queue = Queue() def get_url(self): """ 构建爬去的url 参数pageIndex，pageSize 变化，由count=5727设计 url_list返回待待爬取列表 """ pageSize = 10 for pageIndex in range(1,self.count//pageSize+2): item = dict() url = self.start_url.format(pageIndex) if pageIndex==1: referer = self.start_referer else: referer = self.second_referer.format(pageIndex) item["url"] = url item["referer"] = referer self.url_referer_queue.put(item) def get_json(self): """ 获取返回的json数据，原则上每条url对应一个json数据 """ while self.url_referer_queue.not_empty: """判断非空，则执行操作，否则跳出""" # 获取url,referer item = self.url_referer_queue.get() url = item["url"] referer = item["referer"] # 构造请求头 headers = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36", "cookie": "_ga=GA1.2.275188285.1582376294; pgv_pvi=4879193088; _gcl_au=1.1.1802818219.1582376295; loading=agree", "referer":referer, } print("spider_url:",url) # 获取响应的json response = requests.get(url,headers=headers).content.decode() # 将str转化为dict response = json.loads(response) # 添加获取到的json到json_queue self.json_queue.put(response) # 队列计数减一 self.url_referer_queue.task_done() def get_content(self): """ 分析json_queue中的单项json,并提取数据 职位名称：RecruitPostName 职位ID:PostId 每个职位详情页地址：PostURL 职位类别：CategoryName 工作地点：LocationName 发布时间：LastUpdateTime 工作职责：Responsibility """ while self.json_queue.not_empty: # 获取json json_ = self.json_queue.get() Posts = json_["Data"]["Posts"] for item in Posts: item_dict = { "RecruitPostName":item["RecruitPostName"], "PostId":item["PostId"], "PostURL":item["PostURL"], "CategoryName":item["CategoryName"], "LocationName":item["LocationName"], "LastUpdateTime":item["LastUpdateTime"], "Responsibility":item["Responsibility"], } self.content_queue.put(item_dict) self.json_queue.task_done() def save_content(self): while self.content_queue.not_empty: item = self.content_queue.get() with open("tencent_social_positoon.json","a",encoding="utf-8") as f: f.write(json.dumps(item,ensure_ascii=False,indent=2)) f.write(",") self.content_queue.task_done() def run(self): """ 实现主要逻辑 """ # 创建线程列表 thread_list = list() # 创建get_url方法的线程 url_thread = Thread(target=self.get_url) thread_list.append(url_thread) # 创建get_json方法的线程 json_thread = Thread(target=self.get_json) thread_list.append(json_thread) # 创建get_content方法的线程 content_thread = Thread(target=self.get_content) thread_list.append(content_thread) # 创建save_content方法的线程 save_content_thread = Thread(target=self.save_content) thread_list.append(save_content_thread) # # 创建线程池 # pool = Pool(10) # def process_thread(thread_): # thread_.setDaemon(True) # thread_.start() # pool.map(process_thread,thread_list) for t in thread_list: t.setDaemon(True) t.start() # 让各队列全空才退出主线程 self.url_referer_queue.join() self.json_queue.join() self.content_queue.join() if __name__=="__main__": obj = Txsz() obj.run()
