摘要： 安装request库 pip install request 查看是否已安装pip list 这里我们调用get()方法实现与URLopen()相同的操作，得到Response对象，然后分别输出Response的类型、状态码、响应体的类型、内容、Cookies。 运行结果如下： 通过运行结果可以发现 阅读全文

摘要： 自定义模板语法的标签 首先在django的项目中创建app并且在settings中添加了APP的名称。 在app添加templatetags模块（名字是固定的，也就是说，必须要这样） 如图如何自定义呢？ 在刚刚建的package里面新建一个py文件，比如我建的叫做new_tags 这个就是自定义的t 阅读全文

摘要： 在上一节中我们知道了URLopen()可以实现最基本的爬虫请求： 但是几个参数根本不足以构建完整的请求。假如需要在请求中假如Header等信息，就可以尝试利用更加强大的Request类来进行构建。 下面的例子是一个用法： 这一次我们依旧是用urlopen来发送请求，但是不同的是，我们请求的不是url 阅读全文

摘要： 控制浏览器窗口大小： 有时候我们希望能够以某种浏览器尺寸打开，比如将浏览器设置为移动端大小（480*800），然后访问移动站点，对其样式进行评估：webdriver提供了set_window_size()方法来设置浏览器大小。 上面还是使用Chrome来测试的，得到的结果如下： 看上图，宽度是不是已 阅读全文

摘要： 上一节全部讲了一些xpath定位的方式： 总结如下：格式find_element_by_开头 后面可以加id()/class_name()/link_text()/partial_link()/text/tag_name() 进阶篇可以用绝对定位的方式，元素定位的方式：find_element_by 阅读全文

摘要： 上一节保存心急了，附上Linux的安装； docker官方版安装：curl -sSL http://get.docker.com/ | sh 阿里云版安装：curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-e 阅读全文

摘要： 我也是刚刚开始学习爬虫，写博客的意思就是在学习中记下笔记，以及遇到的坑，尽量让能读到文章的人跳过这些坑！！ 网络爬虫类型： 1，通用性爬虫（百度，啥搜索引擎使用的。返回一堆不相关的网页；他的目标就是尽可能增大网络覆盖率，基于关键字搜索） 2，聚焦网络爬虫 3，增量式网络爬虫 4，深层网络爬虫 举个栗 阅读全文

摘要： 理解表单类：上一篇中讲到了用户登录代码实现，用户登录框可以用HTML代码实现或者是表单实现。 在.个人的app下创建forms.py（这里很多人会写成from） 这个文件是专门存放各种与表单有关的类。 或者是下面的方法： 值得注意的是form表单里面的类和前段页面的name是相同的，因为不需要看前段 阅读全文

摘要： 一，自动化测试目前流行使用的是Selenium 安装方法pip install Selenium（默认安装最新的更新） pip install Selenium==2.48.0（这个是指定版本号的安装） 卸载时pip uninstall Selenium 二，编写第一个自动化脚本 # -*- cod 阅读全文

摘要： 今日内容：用户登录以及分页的实现 views.py 大家第一下想到的都是这样子的操作。用户登陆成功之后呢，在跳转到视图函数的过程中，通过set_cookie()的方法向浏览器中添加cookie的信息。 在这里，set_cookie()的方法在里面穿了三个参数，第一个参数user用于表示写入浏览器co 阅读全文