最新12306票务查询抓取

1. 通过抓包工具发现,station.name.js这个js文件存储了所有的车站信息,

经过对请求头的分析，发现请求的url为：https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9168，但经过测试发现station_version请求的参数对与相应的结果没有影响，因此爬取过成功直接忽略了请求参数。
抓取站台信息代码如下：

import requests


HEADERS= {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
}

def get_station():
    url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js'
    res_str = requests.get(url, headers=headers).text.split('=')[-1].strip("'")
    res_dic = {}
    for i in res_str[1:].split('@'):
        res = i.split('|')
        res_dic.update({res[1]: res[2]})
    retrun res_dic

if __name__ == "__main__":
      get_station()

执行结果如下：

2.继续分析车票信息，发现query这个请求就是查询的火车票的票务信息

通过分析请求的url链接发现上面Cookie有很多，由于刚开始的时候我并没有使用Cookie，发现请求的响应始终获取不到正确的结果，然后清除游览器缓存的所有cookie再次点击查询查询按钮，抓包如下:

发现只发送了2次ajax请求，但是这两次响应也都没有设置cookie，为什么会携带上了cookie信息，因此猜测发送ajax请求的时候自动生成了cookie。

3.查询cookie是如何生成的

使用search进行全局搜索(快捷键ctrl+shift+F),搜索jc_save_fromStation找到如下结果:

然后调出Sources窗口对搜索到的js代码进行局部搜索jc_save_fromStation，发现jc_save_fromStation是jc_getcookie函数的一个参数，发现如下：

继续对搜索到的jc_save_fromStation下入断点进行调试，发现：

然后继续进行局部搜索jc_setcookie，发现：
,其中前两个参数就是分别对应着cookie的键和值，并且cookie的键和值是不会发生变化的，因此判断js是请求的时候生成是正确的。
使用站长工具:http://tool.chinaz.com/tools/urlencode.aspx对cookie的键进行解码:
解码之前：

解码之后：

发现cookie的值就是通过url编码获得到的：
_jc_save_fromStation="北京,BJP"的编码 # 出发地名称,出发地代号的urlEncode的编码
_jc_save_toStation="上海,SHH"的编码 # 目的地，目的地代号的urlEncode的编码
_jc_save_fromDate=2020-11-30 # 出发日期
_jc_save_toDate=2020-11-29 # 查询的实际时间
_jc_save_wfdc_flag=dc # dc是固定的值

完整代码实现：

import requests
import time
from urllib import parse

HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
}


def get_station():
    url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js'
    res_str = requests.get(url, headers=HEADERS).text.split('=')[-1].strip("'")
    res_dic = {}
    for i in res_str[1:].split('@'):
        res = i.split('|')
        res_dic.update({res[1]: res[2]})
    return res_dic


def check(start_addr, end_addr, date):
    url = 'https://kyfw.12306.cn/otn/leftTicket/query'
    stations = get_station()
    start_addr_str = "," + stations[start_addr]
    end_addr_str = "," + stations[end_addr]
    cookie_mode =  '_jc_save_fromStation={}; _jc_save_toStation={}; _jc_save_fromDate={}; _jc_save_toDate={}; _jc_save_wfdc_flag=dc'
    from_cookie = str((start_addr).encode('unicode_escape')).replace(r'\\', '%').strip(r"b'").strip("'") + str(parse.quote(start_addr_str))
    end_cookie = str((end_addr).encode('unicode_escape')).replace(r'\\', '%').strip(r"b'").strip("'") + parse.quote(end_addr_str)
    from_date = date
    save_date = time.strftime("%Y-%m-%d", time.localtime(time.time()))
    cookie = cookie_mode.format(from_cookie, end_cookie, from_date, save_date)
    HEADERS['Cookie'] = cookie
    params = {
        'leftTicketDTO.train_date': date,
        'leftTicketDTO.from_station': start_addr_str.strip(','),
        'leftTicketDTO.to_station': end_addr_str.strip(','),
        'purpose_codes': 'ADULT',
    }
    response = requests.get(url, params=params, headers=HEADERS)
    print(response.text)


check('北京', '上海', '2020-11-30')