01 2018 档案

Scrapy框架
摘要：阅读目录 一 介绍 二 安装 三 命令行工具 四 项目结构以及爬虫应用简介 五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Middeware 十 Spider Middleware 十一 settings.py 十二 爬取亚马逊商 阅读全文
posted @ 2018-01-23 14:56 飞天的鱼 阅读(210) 评论(0) 推荐(0)
爬虫高性能相关
摘要：阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 阅读全文
posted @ 2018-01-22 15:38 飞天的鱼 阅读(147) 评论(0) 推荐(0)
MongoDB
摘要：阅读目录 一 简介 二 MongoDB基础知识 三 安装 四 基本数据类型 五 CRUD操作 六 可视化工具 七 pymongo 一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据 阅读全文
posted @ 2018-01-22 15:37 飞天的鱼 阅读(189) 评论(0) 推荐(0)
beatfullsoup
摘要：阅读目录 一 介绍 二 基本使用 三 遍历文档树 四 搜索文档树 五 修改文档树 六 总结 一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小 阅读全文
posted @ 2018-01-22 15:34 飞天的鱼 阅读(219) 评论(0) 推荐(0)
破解极验滑动（博客园）
摘要：阅读目录 一 介绍 二 实现 三 说明 一 介绍 一些网站会在正常的账号密码认证之外加一些验证码，以此来明确地区分人/机行为，从一定程度上达到反爬的效果，对于简单的校验码Tesserocr就可以搞定，如下 但一些网站加入了滑动验证码，最典型的要属于极验滑动认证了，极验官网：http://www.ge 阅读全文
posted @ 2018-01-18 19:44 飞天的鱼 阅读(292) 评论(0) 推荐(0)
selenium模块
摘要：阅读目录 一 介绍 二 安装 三 基本使用 四 选择器 五 等待元素被加载 六 元素交互操作 七 其他 八 项目练习 一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全 阅读全文
posted @ 2018-01-17 15:11 飞天的鱼 阅读(204) 评论(0) 推荐(0)
requests模块
摘要：阅读目录 一 介绍 二 基于GET请求 三 基于POST请求 四 响应Response 五 高级用法 一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页 阅读全文
posted @ 2018-01-15 20:25 飞天的鱼 阅读(177) 评论(0) 推荐(0)
爬虫基本原理
摘要：阅读目录 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 一 爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共 阅读全文
posted @ 2018-01-15 20:21 飞天的鱼 阅读(505) 评论(0) 推荐(0)
Django_admin源码流程
摘要：admin.py url.py 以上两个文件都引用的是django.contrib.admin.site中的方法，site是AdminSite实例化出来的一个对象，所以site调用的register方法和urls属性(方法被@property装饰器装饰)是AdminSite这个类中定义的 djang 阅读全文
posted @ 2018-01-13 14:59 飞天的鱼 阅读(406) 评论(0) 推荐(0)
Flask
摘要：Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返 阅读全文
posted @ 2018-01-12 19:45 飞天的鱼 阅读(206) 评论(0) 推荐(0)
Django内置信号
摘要：阅读目录(Content) Django中内置的signal 自定义信号 1.定义信号 2.注册信号 3.触发信号 阅读目录(Content) Django中内置的signal 自定义信号 1.定义信号 2.注册信号 3.触发信号 1.定义信号 2.注册信号 3.触发信号 回到顶部(go to to 阅读全文
posted @ 2018-01-12 18:54 飞天的鱼 阅读(234) 评论(0) 推荐(0)
Flask-Script
摘要：Flask-Scropt插件:为在Flask里编写额外的脚本提供了支持。这包括运行一个开发服务器，一个定制的Python命令行，用于执行初始化数据库、定时任务和其他属于web应用之外的命令行任务的脚本。 一. 使用 Flask-Script 支持命令行选项 1.安装 ? 1 $ pip instal 阅读全文
posted @ 2018-01-12 17:26 飞天的鱼 阅读(174) 评论(0) 推荐(0)
面向对象
摘要：类 1.类的组成 数据和函数，二者是类的属性 2.两个作用： 实例化 属性引用 属性引用：类名.属性(增删改查) 实例化: 类名加括号就是实例化，会自动出发__init__的运行，可以用它为每个实例创建自己的特征 ? 1 2 3 4 类属性 特征(变量) 技能(函数) 对象属性：对象本身只有特征(变 阅读全文
posted @ 2018-01-11 09:02 飞天的鱼 阅读(208) 评论(0) 推荐(0)
面向对象详细
摘要：一 isinstance(obj,cls)和issubclass(sub,super) class Foo: def __init__(self,name): self.name = name obj = Foo("egon") print(isinstance(obj,Foo)) l = list 阅读全文
posted @ 2018-01-11 08:53 飞天的鱼 阅读(192) 评论(0) 推荐(0)
Flask-SQLAlchemy
摘要：SQLAlchemy 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 ? 1 pip3 install sqlalchemy ? 阅读全文
posted @ 2018-01-11 08:44 飞天的鱼 阅读(331) 评论(0) 推荐(1)
Dbutils-数据库连接池
摘要：DBUtils是Python的一个用于实现数据库连接池的模块。 此连接池有两种连接模式： 模式一：为每个线程创建一个连接，线程即使调用了close方法，也不会关闭，只是把连接重新放到连接池，供自己线程再次使用。当线程终止时，连接自动关闭。 POOL = PersistentDB( creator=p 阅读全文
posted @ 2018-01-10 22:25 飞天的鱼 阅读(202) 评论(0) 推荐(0)
flask-信号
摘要：Flask框架中的信号基于blinker，其主要就是让开发者可是在flask请求过程中定制一些用户行为。 ? 1 pip3 install blinker ? 1 pip3 install blinker ? 1 pip3 install blinker ? 1 pip3 install blink 阅读全文
posted @ 2018-01-10 22:24 飞天的鱼 阅读(177) 评论(0) 推荐(0)
Wtforms
摘要：简介 WTForms是一个支持多个web框架的form组件，主要用于对用户请求数据进行验证。 安装： ? 1 pip3 install wtforms ? 1 pip3 install wtforms ? 1 pip3 install wtforms ? 1 pip3 install wtforms 阅读全文
posted @ 2018-01-10 22:21 飞天的鱼 阅读(161) 评论(0) 推荐(0)
f'lask源码
摘要：上下文本质 ? 1 2 3 4 5 6 7 8 - 当请求过来后,将请求相关数据添加到 Local()类中 { 线程或协程唯一标识:{"stack":[request]}, 线程或协程唯一标识:{"stack":[]}, 线程或协程唯一标识:{"stack":[]} } - 以后使用时 去读取 - 阅读全文
posted @ 2018-01-10 16:43 飞天的鱼 阅读(286) 评论(0) 推荐(0)
单例模式
摘要：一. 单例模式四种方式 1. 文件导入 2. 基于类 无法支持多线程 支持多线程 3. 使用__new__ 无法支持多线程 支持多线程 对比： # ######################## 基于 类方法实现 ######################### """ import time 阅读全文
posted @ 2018-01-10 16:10 飞天的鱼 阅读(163) 评论(0) 推荐(0)