我是夜雨吖 - 博客园

python爬虫之Xpath

摘要：了解XML 和xpath Xpath:http://www.w3school.com.cn/xpath/index.asp 安装库 Pip install lxml 什么是xpath Xml是用来存储和传输数据使用的和html的不同有两点： Xpath用来在xml中查找指定的元素，它是一种路径表达阅读全文

posted @ 2019-03-05 10:23 我是夜雨吖阅读(360) 评论(0) 推荐(0)

python爬虫之bs4 美丽汤

摘要： beautifulsoup4 灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取。使用方法：案例代码展示可不看 import requests from bs4 import * import re urls='https://www.dbmein 阅读全文

posted @ 2019-03-05 10:22 我是夜雨吖阅读(1686) 评论(0) 推荐(0)

python3爬虫的模拟浏览器

摘要：爬虫的使用过程中，网站最简单的反爬虫就是验证发起请求的客户端是否为浏览器，因此需要爬虫模拟浏览器对网站发起请求。这里介绍一个fake_useraent 1、伪造useragent字符串，每次请求都使用随机生成的useragen 为了减少复杂度，随机生成UA的功能通过第三方模块库fake-usera 阅读全文

posted @ 2019-03-05 10:20 我是夜雨吖阅读(3962) 评论(0) 推荐(0)

python爬虫之requests库

摘要：什么是Requests？ Requests 是用python语言编写，基于urllib，采用Apache2 Licensed 开源协议的HTTP库。它比urllib 更加方便，可以节约我们大量的工作，完全满足HTTP 测试需求。一句话——python实现的简单易用的HTTP 库 Requests的阅读全文

posted @ 2019-03-05 10:19 我是夜雨吖阅读(382) 评论(0) 推荐(0)

ModelForm：表单中的 Field 和模型中的 Field重复解决

摘要： ModelForm：大家在写表单的时候，会发现表单中的 Field 和模型中的 Field 基本上是一模一样的，而且表单中需要验证的数据，也就是我们模型中需要保存的。那么这时候我们就可以将模型中的字段和表单中的字段进行绑定。比如现在有个 Article 的模型。示例代码如下： from djan 阅读全文

posted @ 2019-02-25 17:07 我是夜雨吖阅读(697) 评论(0) 推荐(0)

django中关于表单自定义验证器和常用验证器

摘要：常用验证器：在验证某个字段的时候，可以传递一个 validators 参数用来指定验证器，进一步对数据进行过滤。验证器有很多，但是很多验证器我们其实已经通过这个 Field 或者一些参数就可以指定了。比如 EmailValidator ，我们可以通过 EmailField 来指定，比如 MaxVa 阅读全文

posted @ 2019-02-25 17:00 我是夜雨吖阅读(2079) 评论(0) 推荐(0)

关于http连接的本质已经cookies和session

摘要：网络上的任何交互都是基于socket连接 http 连接响应 close 再次连接无法确实是否还是xx的连接——无状态，短连接以博客园举例无状态和短连接： for example: Web应用（网站）：浏览器（socket客户端）运行 2.发送请求博客园为例子（socket服务端） Wh 阅读全文

posted @ 2019-02-18 08:17 我是夜雨吖阅读(474) 评论(0) 推荐(0)

django数据库过滤的总结

摘要： 1. exact：在底层会被翻译成`=`。 2. iexact：在底层会被翻译成`LIKE`。 * LIKE和=：大部分情况下都是等价的，只有少数情况下是不等价的。 * exict和iexact：他们的区别其实就是LIKE和=的区别，因为exact会被翻译成=，而iexact会被翻译成LIKE。 * 阅读全文

posted @ 2019-01-04 15:26 我是夜雨吖阅读(2279) 评论(0) 推荐(0)

django常用Field

摘要： ## navie时间和aware时间： ### 什么是navie时间？什么是aware时间？ 1. navie时间：不知道自己的时间表示的是哪个时区的。也就是不知道自己几斤几两。比较幼稚。 2. aware时间：知道自己的时间表示的是哪个时区的。也就是比较清醒。 ### pytz库：专门用来处理时阅读全文

posted @ 2018-12-27 19:56 我是夜雨吖阅读(737) 评论(0) 推荐(0)

如何理解数据库多个表之间的联系

摘要： ## 一对多： 1. 应用场景：比如文章和作者之间的关系。一个文章只能由一个作者编写，但是一个作者可以写多篇文章。文章和作者之间的关系就是典型的多对一的关系。 2. 实现方式：一对多或者多对一，都是通过`ForeignKey`来实现的。还是以文章和作者的案例进行讲解。 ```python class 阅读全文

posted @ 2018-12-26 16:09 我是夜雨吖阅读(1709) 评论(0) 推荐(0)