摘要:
一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
摘要:
asyncio模块:示例一 asyncio模块:示例二 asyncio模块+aiohttp模块:示例三 asyncio模块+requests模块:示例四 gevent模块+requests模块:示例五 grequests模块:示例六 twisted模块:示例七 tornado模块:示例八 twist 阅读全文
摘要:
一 介绍 二 安装 1、有界面浏览器 2、无界面浏览器 三 基本使用 四 选择器 1. 基本用法 2. xpath 3. 获取标签属性 五 等待元素被加载 六 元素交互操作 七 其他 八 案例:爬取大家车言论 阅读全文
摘要:
一 介绍 二 基于GET请求 1、基本请求 2、带参数的GET请求->params 3、带参数的GET请求->headers 4、带参数的GET请求->cookies 三 基于POST请求 1、介绍 2、发送post请求,模拟浏览器的登录行为 3、补充 四 响应Response 1、response 阅读全文
摘要:
一、简介爬虫 1.什么是爬虫 2.爬虫的基本原理 3.Request 4.Response 二、requests库 三、selenium库 四、BeautifulSoup库 五、Scrapy框架 阅读全文
摘要:
一.简介 二.models代码 三.url路由代码 四.视图代码 五.模板代码 阅读全文
摘要:
settings中的配置不再详细说明 一.路由代码 二.视图函数 三.models代码 四.模板代码 阅读全文
摘要:
一、简介 设计模式的定义:为了解决面向对象系统中重要和重复的设计封装在一起的一种代码实现框架,可以使得代码更加易于扩展和调用 四个基本要素:模式名称,问题,解决方案,效果 六大原则: 1.开闭原则:一个软件实体,如类,模块和函数应该对扩展开发,对修改关闭.既软件实体应尽量在不修改原有代码的情况下进行 阅读全文
摘要:
一.Redis的配置 1.django的缓存配置 2.django中session的配置 配置完这个2个后,在视图中再设置session,就会自动将session保存在Redis中 二.路由 三.视图 这里视图使用的是MBV,还用了restframework 四.浏览器发送请求 这里使用了postm 阅读全文
摘要:
一.Redis的高并发和快速原因 1.redis是基于内存的,内存的读写速度非常快; 2.redis是单线程的,省去了很多上下文切换线程的时间; 3.redis使用多路复用技术,可以处理并发的连接。非阻塞IO 内部实现采用epoll,采用了epoll+自己实现的简单的事件框架。epoll中的读、写、 阅读全文