要看一种技术在本地的流行程度，最简单的就是找招聘网站按关键词搜索。
比如今天查到的职位数量是vue 1296个，react 1204个，angular 721个。国际上比较流行的是react，本地市场中vue倒更受欢迎。所以学习的话可以先考虑前两个。
比如我们可以功利化一点：某些语言的薪资中值比较低，或者某些语言职位数比较少，那么我们做做比较，去学点别的吗。
分为两步，第一步爬取并保存成文本文件；第二步读取和解析文本文件显示折线图。（数据存在本地更好，免得频繁扒着玩，对方网站恨我。所以分为两步）
第一个文件：
按关键词，扒取页面 https://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京
按薪资区间分为几挡：1～6000， 6001～12000, 12001～20000, 20001～30000, 30001～99999
# -*- coding: utf-8 -*- # coding=utf-8 import requests import bs4 import urllib def getPageTxt(url): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'} r = requests.get(url, headers=headers) soup = bs4.BeautifulSoup(r.content.decode("utf-8"), "lxml") mylist = soup.select('.search_yx_tj em') counts = mylist[0].text return counts def getUrl(word, moneymin=0, moneymax=99999): url = "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京&kw=" url += word + "&p=1&isadv=0&isfilter=1&sf=" + str(moneymin) + "&st=" + str(moneymax) return url # 一、查询关键词 word000 = "前端,python" #限最多6个值，中间半角逗号分隔 #word000 = "前端,python,php" words = word000.split(",") # 二、工资区间（最小值为0，最大值为99999） moneys = [0, 6000, 12000, 20000, 30000, 99999] money_min = list(map(lambda x: x+1, moneys[:-1])) #[1, 6001, 12001, 20001, 30001] money_max = list(map(lambda x: x, moneys[1:])) #[6000, 12000, 20000, 30000, 99999] print(money_min) print(money_max) # 三、url拼串，扒取页面，生成字典文件 ''' 字典文件的结构为：（counts是职位数量，startmoney是起薪。这两个list，后面将用于生成折线图） [ {'key': '前端', 'counts': [1105, 4485, 4394, 1549, 393], 'startmoney': [1, 6001, 12001, 20001, 30001]}, {'key': 'python', 'counts': [700, 2945, 4467, 2454, 984], 'startmoney': [1, 6001, 12001, 20001, 30001]} ] ''' ulist = [] for word in words: li = {} counts = [] for k in money_min: idx = money_min.index(k) # 索引 url = getUrl(word, money_min[idx], money_max[idx]) # 拼串 counts.append(int(getPageTxt(url))) # 扒取 ，并转换为数字，存入counts列表 li["key"] = word li["counts"] = counts li["startmoney"] = money_min ulist.append(li) print(ulist) f = open("counts000.txt", "w") f.write(str(ulist)) f.close()
第二个文件：
注意这里有个坑：json载入的字符串，必须是双引号
# -*- coding: utf-8 -*- # coding=utf-8 import json f = open('counts000.txt', 'r+') ulliststring = f.read() f.close() ulliststring = ulliststring.replace("'", '"') # 注意这里有个坑！！ json的标准格式：要求必须 只能使用双引号作为键 或者 值的边界符号，不能使用单引号，而且“键”必须使用边界符（双引号） ullist = json.loads(ulliststring) import matplotlib import matplotlib.pyplot as plt matplotlib.rcParams['font.sans-serif'] = ['SimHei']# 为了能显示中文（而不是显示一个框） matplotlib.rcParams['font.family']='sans-serif' matplotlib.rcParams['axes.unicode_minus'] = False # 为了能显示负号（而不是显示一个框） colornames = ['#ff0000', '#ccee00', '#00aa00','#0000ff', '#9900ff', '#ff0099'] plt.title('bj薪资、职位数量折线表', color='#ff33a0') plt.xlabel('薪资区间') # 设置X坐标轴标题 plt.ylabel('职位数量') # 设置Y坐标轴表 plt.xlim(0, 35000) # 设置坐标轴的范围 plt.ylim(0, 5000) # plt.xticks([2,4])#设置x轴的标签间隔 # plt.yticks([4,16])#设置y轴的标签间隔 i = 0 for li in ullist: x = li["startmoney"] y = li["counts"] plt.plot(x, y, colornames[i]) i += 1 plt.show()
写在后面：
可能会有些小bug，不做处理了：
比如colornames颜色我只设了6个，y轴最大值才设了5000，
折线图的x轴，代表的是起薪点。理想的应该是薪资区间的中值。
..
