诚实善良小郎君

摘要： 1 安装环境 2 安装flask 3 工具 4 flask注意事项 5 简化if else 6 类方法 静态方法 7 API接口 8 一般常见app下的目录结构与框架搭建 9 数据表创建三种方式 10 flask中上下文 11 线程与进程 12 编程思维 阅读全文

摘要： 一 TCP网络协议 1 建立TCP连接:三次握手原则 1. 客户端通过向服务器端发送一个SYN来创建一个主动打开，作为三次握手的一部分。客户端把这段连接的序号设定为随机数 A。 2. 服务器端应当为一个合法的SYN回送一个SYN/ACK。ACK 的确认码应为 A+1，SYN/ACK 包本身又有一个随 阅读全文

摘要： 1 数据库事务处理 一个数据库事务通常包含对数据库进行读或写的一个操作序列 . 当一个事务被提交给了DBMS（数据库管理系统），则DBMS需要确保该事务中的所有操作都成功完成且其结果被永久保存在数据库中，如果事务中有的操作没有成功完成，则事务中的所有操作都需要被回滚. 1 为数据库提供了一个从失败恢 阅读全文

摘要： 在线源码: GITHub : https://github.com/whyjust/fisher 鱼书项目模块化总结 项目总体思路 .png) 模型类 视图蓝本 表单验证数据API flask上下文/ajax .png) 1 异步发送邮件模块 邮件发送: 需要进行注册邮件发送或者功能模块需要发送邮件 阅读全文

摘要： 1. 通常防止爬虫被反主要有以下几个策略 (1)动态设置User Agent(随机切换User Agent,模拟不同的浏览器) 方法1: 修改setting.py中的User Agent 方法2: 修改setting中的 DEFAULT_REQUEST_HEADERS 方法3 : 在代码中修改 (2 阅读全文

摘要： 一 新浪新闻爬取 1 爬取新浪新闻(全站爬取) 项目搭建与开启 2 项目setting配置 3 启动文件start.py配置 4 需求目标item配置 5 爬虫逻辑文件配置mysina.py 方法二 :mysina.py也可采用scrapy创建请求 6 管道存储pipelines.py 方法二 : 阅读全文

摘要： 1 parse()方法的工作机制： 2 CrawlSpiders:定义了一些规则跟进link 通过下面的命令可以快速创建 CrawlSpider模板 的代码： 上一个案例中，我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以换个花样... 它是Spider的派生类，Spid 阅读全文

摘要： Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端 阅读全文

摘要： Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted(其主要对手是Tornado)多线程异步网络框架来处 阅读全文

摘要： 1、进程的概念 什么是进程— CPU在同一时刻只能处理一个任务,只是因为cpu执行速度很快。 cpu在各个任务之间来回的进行切换。 进程的概念 ：正在进行的一个过程或者说一个任务，而负责执行任务的则是CPU，进程本身是 一个抽象的概念,即进程就是一个过程、一个任务。 CPU描述的是一个程序的执行过程 阅读全文