摘要： 业务场景： 前后端分离需要对接数据接口。 接口测试是在postman做的，今天才开始和前端对接，由于这是我第一次做后端接口开发（第一次嘛，问题比较多）所以在此记录分享我的踩坑之旅，以便能更好的理解，应用。 问题： 前端ajax请求后端接口出现跨域问题，如下图。 翻译：因为响应头没有"Access-C 阅读全文

摘要： 项目:艺龙国内机票实时数据爬虫 使用模块：requests（请求模块），js2py（js执行模块），json（解析json），xpath（解析网页）。 项目流程： 分析网站数据来源。 编写爬虫脚本。 验证数据准确性。 js逆向破解参数生成。 更换请求参数城市（飞机起飞城市和落地城市或日期）测试结果是 阅读全文

摘要： 博主主要是用来更新爬虫Cookie 环境安装 python3 安装selenium 安装chrome浏览器+chromedriver驱动 一.配置yum源 1.在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo 2.写入如下代码: 使用vi在命令行编辑:(详 阅读全文

摘要： 栈和队列是什么 栈和队列是两种特殊的线性表，它们是限定只能在表的一端或两端进行插入、删除元素的线性表，因此，统称为限定性数据结构。 共同点： 都是只能在线性表的端点插入和删除。不同点： 栈的插入和删除都在线性表的同一个端点，该点通称栈顶，相应地，不能插入删除的另一个端点通称栈底，其特性是后进先出。 阅读全文

摘要： 在程序中，经常需要将一组（通常是同为某个类型的）数据元素作为整体管理和使用，需要创建这种元素组，用变量记录它们，传进传出函数等。一组数据中包含的元素个数可能发生变化（可以增加或删除元素）。 对于这种需求，最简单的解决方案便是将这样一组元素看成一个序列，用元素在序列里的位置和顺序，表示实际应用中的某种 阅读全文

摘要： 1.1 Tornado是什么？ Tornado是使用Python编写的一个强大的、可扩展的Web服务器。它在处理严峻的网络流量时表现得足够强健，但却在创建和编写时有着足够的轻量级，并能够被用在大量的应用和工具中。 我们现在所知道的Tornado是基于Bret Taylor和其他人员为FriendFe 阅读全文

摘要： 在某个Flask项目在做后端接口时需要设置超时响应，因为接口中使用爬虫请求了多个网站,响应时间时长时短。 我需要设置一个最大响应时间，时间内如果接口爬虫没跑完,直接返回请求超时。 从网上了解到有两种方法，废话不多说直接上代码。 方法1:使用线程控制 超时设置3s，线程调用函数运行2s，这里返回a的值 阅读全文

摘要： 了解异步编程 楼主在工作中遇到了以下问题,开发接口爬取数据代码完成之后要写入redis缓存,但是在写入缓存的过程花费2-3s,进行这样就大大影响了接口的性能,于是想到了使用异步存储。 传统的同步编程是一种请求响应模型，调用一个方法，等待其响应返回.异步编程就是要重新考虑是否需要响应的问题，也就是缩小 阅读全文

摘要： 一.冒泡排序 概念:为一个无序的列表排成有序的 实现过程描述:(升序) 1.比较相邻的元素,如果第一个比第二个大,就交换他们的位置 2.对每一对相邻元素重复1的工作,从开始第一队到最后一对,最后结束的时候最大的数会在后面 3.针对所有元素重复1,2的工作,除了最后一个数,因为最后的数最大,省略这个过 阅读全文

摘要： 记录一次爬虫生成链接过程中遇到的sessionStorage存储数据 1.简介 sessionStorage 是HTML5新增的一个会话存储对象，用于临时保存同一窗口(或标签页)的数据，在关闭窗口或标签页之后将会删除这些数据。 seesionStorage的存储方式采用key、value的方式。va 阅读全文