摘要：
一. 初识Flask Flask诞生于2010年，是Armin ronacher（人名）用 Python 语言基于 Werkzeug 工具箱编写的轻量级Web开发框架。 Flask 本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask-Login，数据 阅读全文
摘要：
本文转自:https://mp.weixin.qq.com/s/fuS3uDvAWOQBQNetLqzO-g 一、前言 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 阅读全文
摘要：
一.为什么要有编码规范 二.代码编排 缩进4个空格，禁止空格与Tab混用 每行最大长度80字符，换行可以使用反斜杠，最好使用圆括号。换行点要在操作符的后边敲回车,防止单行国语复杂的import 不使用 from xxx import * 这种语法 类和top-level函数定义之间空两行；类中的方法 阅读全文
摘要：
1. github 注意点: 1.要获取token,而且要一一对应 2.headers,两次请求的请求头是不一样的,否则会报错,422状态码 2.scrapy模拟登陆人人 3.scrapy模拟登录豆瓣 阅读全文
摘要：
1. 还是以虎嗅为例,他给我返回的是一个json格式的json串 2.那么我需要操作的就是把json串转换成我们的字典格式再进行操作 3.自己导入选择器 4.使用Selector的xpath方法获取内容 5.使用效果 我把上一篇虎嗅的在parse中修改了来示范一下 5.文档 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要：
1.商品爬取 2.评论爬取 阅读全文
摘要：
一.安装 1.修改 pyspider/webui/webdav.py 第209行：否则启动会报错 2.启动报错 3.phatomjs 其他问题参考：https://www.cnblogs.com/wisir/p/10666185.html 二.启动 1.启动 2.帮助 3.文件 4.界面 5.操作 阅读全文
摘要：
一.初始化 1.html初始化 2.url初始化 3,文件初始化 二.基本选择器 三.查找元素 1.子元素 2.父元素 3.兄弟元素 四.遍历 1.单个元素 2.多个元素 五.获取信息 1.获取属性 2.获取文件 3.获取HTML 六.DOM操作 1.addClass、removeClass¶ 2. 阅读全文
摘要：
一.关于字体反爬的思路 1.打开猫眼电影我们发现其很多关于数值在网页显示正常,通过element看到是方框 2.打开network看到所有的请求(找到字体的请求,直接那请求url就能拿到他的字体文件) 3.字体处理 <glyf...> 标签内包含着每一个字符的对象<TTGlyph>，同样第一个和最后 阅读全文