摘要：
简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 作用： 可以让浏览器完成相关自 阅读全文
摘要：
在我们爬取网页的时候,可能会遇到乱码的问题,解决这种的乱码的问题有一种通用的方法 阅读全文
摘要：
三种方式: 1.多进程多线程(不建议) 2.进程池或者线程池(适当) 3.单线程+异步协程(推荐) 多进程多线程 占用cpu资源,不建议使用 基于线程池的异步爬虫 结果: 单线程+异步协程 基本使用 task的使用 future的使用 绑定回调 多任务异步协程 执行结果: 执行结果: 多任务异步操作 阅读全文
摘要：
scrapy框架 框架 -具有很多功能且具有很强通用性的一个项目模板 环境安装: 创建一个工程 scrapy startprobject proName cd proName 创建爬虫文件: scrapy genspider spiderName www.xxx.com 执行工程: 阅读全文
摘要：
当requests发送请求成功后，requests就会得到返回值，如果服务器响应正常，就会接收到响应数据； Response响应中的属性和方法 常用属性： status_code: 数据类型：int 作用：返回HTTP响应的状态码：200、404、500、等 reason: 数据类型：str 作用： 阅读全文
摘要：
最近在学习胡阳老师（the5fire）的《Django企业级开发实战》，想要使用pycharm创建django项目时，在使用virtualenv创建虚拟环境后，在pycharm内，无论如何都无法导入正确的环境。通常是提示 django is not importable in this enviro 阅读全文
摘要：
什么是requests模块: requests模块是python中原生的基于网路请求的模块,其主要作用是用来模拟浏览器发送请求,功能强大,用法简洁高效,在爬虫的领域占半壁江山 如何使用requests模块: 安装:pip install requests 使用流程: 1.指定url 2.发送请求 3 阅读全文
摘要：
异常和错误 错误: 1、语法错误（这种错误，根本过不了python解释器的语法检测，必须在程序执行前就改正） 2、逻辑错误（逻辑错误） 异常: 异常就是程序运行时发生错误的信号，在python中,错误触发的异常如下： python中的异常种类: 在python中不同的异常可以用不同的类型（pytho 阅读全文
摘要：
@wraps 函数的装饰器修复技术，可使被装饰的函数在增加了新功能的前提下，不改变原函数名称，还继续使用原函数的注释内容； 方便了上下文环境中不去更改原来使用的函数地方的函数名； 使用方法 阅读全文
摘要：
Django Rest framework介绍 Django Rest framework是一个强大并且灵活的工具包,用以构建web API,可以在django的基础上,迅速实现API,并且自身还带有web的测试页面,可以方便测试自己的API Django Rest framework简单使用 Dj 阅读全文