从招聘网站爬取职位信息小窥IT发展
想知道你的工作值多少钱?如果想小范围内转行,转哪个比较好呢?
IT人恐怕逃脱不了加班这个魔咒,有的人想转行,最好是钱多事少离家近。 Snake 从拉勾网爬取职位信息,通过分析城市,职位和薪水的分布的情况,来探讨IT的发展趋势。
虽然数据可能有些不准,“窥一斑而知全豹”。
首先挑几个维度做样本,如下:
cities = np.array(['北京', '上海', '广州', '深圳', '杭州'])
salaries = np.array(['2k-5k', '5k-10k', '10k-15k', '15k-25k', '25k-50k'])
keywords = np.array(["测试", "Android", "IOS", "前端", "人工智能", "后端", "运维"])
翠花,上爬虫!
def get_page(url, page_num, keyword):
headers = {
"User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Accept": "application/json, text/javascript, */*; q=0.01",
"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-CN,zh;q=0.8"
}
if page_num == 1:
boo = 'true'
else:
boo = 'false'
page_data = {
'first': boo,
'pn': page_num,
'kd': keyword
}
page = requests.post(url=url, headers=headers, data=page_data)
return page.json()
def get_detail(keyword):
final_result = []
for city in cities:
total_count = []
for salary in salaries:
result = get_page(url.format(city, salary), 1, keyword)['content']['positionResult']['totalCount']
total_count.append(result)
final_result.append(total_count)
detail[keyword] = final_result
爬到的数据如下:
![屏幕快照 2017-08-14 下午10.23.18.png](http://upload-images.jianshu.io/upload_images/689830-2180024481afa75e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
屏幕快照 2017-08-14 下午10.23.18.png
图形化,更直观点:
-
测试
测试_detail.png -
Android开发
Android_detail.png -
IOS开发
IOS_detail.png -
前端开发
前端_detail.png -
人工智能
人工智能_detail.png -
后端开发
后端_detail.png -
运维
运维_detail.png
PS,原谅我还没完全解决Mac绘图中文字体问题,将就看把。
从数据可以看到,无论哪个岗位,职位最多的非帝都莫属。
杭州超过了广州。(马云功不可没)
各个职位对中级需求相对多些,帝都对15--25K的需求比较大。(帝都的房价,难道是IT人员撑起来的?我知道一个华为的,帝都好几套)
测试和运维的分布很接近。
开发的薪资和测试的薪资,距离没有那么大了。(经过这么多年的发展,开发的薪资已经很理性了。)
人工智能已经起来了,高薪机会很多。(难道是下一个风口,希望不是泡沫)
以上是个人愚见,如有不准,请找招聘网站。我顶多就放了个🐛。
更多精彩,请关注: python爱好部落